Йоганн Луеф прийшов у «Рапід» з аматорського клубу Baumgartner Sportfreunde в 1926 році[1]. У своєму першому сезоні він забив 15 голів у 12 іграх чемпіонату[1]. Також вийшов з клубом у фінал Кубка Австрії в тому ж році. У півфіналі проти «Адміри» молодий форвард забив два голи в переграванні, у тому числі переможний на 87-й хвилині, який зробив рахунок 4:3. У фіналі «Рапід» переграв «Аустрію» 3:0, а Луеф забив другий гол. В тому ж році клуб грав у Кубку Мітропи, у якому команда дійшла до фіналу. У вирішальному двобої проти празької Спарти австрійці програли з загальним рахунком 4:7. Йоганн Луеф грав лише у матчі-відповіді на «Гоге Варте» і забив один з голів (рахунок 2:1)[2].
У 1928 році «Рапід» знову дійшов до фіналу Кубку Мітропи і також програв. Луеф у фіналі проти «Ференцвароша» не грав[3]. У чемпіонаті нападник зміг стати з командою чемпіоном у 1929 і 1930 роках[1]. У Кубку Мітропи 1929 року команда поступилась у півфіналі «Уйпешту»[4].
У 1930 році «Рапід» нарешті виграв Кубку Мітропи. Луеф грав у фіналі проти празької «Спарти». Його гол у Празі на дев'ятій хвилині проклав шлях до успіху. Виїзна перемога з рахунком 2:0 стала основою тріумфу, адже матч-відповіді у Відні закінчився поразкою з рахунком 2:3[5].
У складі віденського «Рапіду» грав до 1937 року[1]. В 1935 році команда стала чемпіоном без жодної поразки.
Далі грав за команду другого дивізіону «Штрассенбан» Відень. Крім Луефа, клуб підсилився такими відомими гравцями, як Франц Ердль, Йозеф Гассман і Карл Єстраб, але це не допомогло вийти у вищий дивізіон. У роки війни Луеф був граючим тренером у клубі Форвертс (Штайр).
З 1929 року Йоганн Луеф виступав за збірну Австрії. Дебютував в грі проти Чехословаччини (3:3). Виступав за команду до 1933 року і зіграв загалом 12 разів, включаючи три, які відносять до легендарної Чудо-команди. Наприклад, брав участь у перемозі 8:1 над Швейцарією в Базелі[6].