Ральф починав грати у другій команді «Штутгарт», але потрапити після цього у першу у нього так і не вийшло. Після цього він став грати за англійський аматорський клуб «Саутвік»[en], оскільки як переїхав на британську землю вчитися в Університеті Сассекса[3].
Кар'єру тренера він розпочав у 1983 році, ставши головним тренером команди «Вікторія» свого рідного міста Бакнанга у Вербандслізі[5]. Одночасно з цим він іноді виходив за неї на поле у якості гравця. Взимку 1984 році на тренувальному таборі його клуб провів матч проти «Динамо» (Київ) на чолі з Валерієм Лобановським][6], де Рангнік побачив нову тактику 4-4-2 з постійним пресингом, яку потім став використовувати сам[7].
З 1985 року працював протягом двох років тренером дублюючої команди «Штутгарт». У сезоні 1987/88 він повернувся в Вербандслігу, де знову став граючим тренером клубу «Ліппольдсвайлер», а потім два сезони був головним тренером іншого аматорського клубу «Корб»[de].
1990 року повернувся у «Штутгарт». У 1992 році він відмовився від роботи на користь роботи з швабським клубом бундесліги, який взяв його як спортивний координатор під наглядом молоді та аматорського футболу за контрактом.
Влітку 1994 року Рангнік покинув «Штутгарт» і згодом підписав контракт зі свою колишньою командою втім через хворобу[4] та операцію так до роботи з командою і не приступив[8][9].
Влітку 1995 року Рангнік очоилв «Ройтлінген» і у першому сезоні 1995/96 зміг поправити справи клубу і зайняти з ним 4-е місце у Регіоналлізі.
У 1997 році Ральф став головним тренером «Ульма», в якому він колись грав. З ним він зміг відразу виграти Регіоналлігу і досить впевнено зіграв у другій Бундеслізі. Коли Рангнік покинув клуб у березні 199 року, клуб йшов на п'ятому місці.
Зі «Штутгартом» Ральф підписав угоду у січні 1999 року, і цей контракт повинен був вступити в силу тільки влітку. Але незадовільний стан команди в поточному чемпіонаті дозволив йому приступити до роботи раніше наміченого терміну, 3 травня 1999 року, тренуючи клуб останні п'ять ігор сезону 1998/99, закінчивши на 11-му місці у Бундеслізі[10]. У своєму першому повному сезоні Рангнік зайняв з клубом восьме місце в чемпіонаті, але на наступний сезон стало все складніше, і коли команда знаходилася біля зони вильоту на 17 місці, а після поразки 1:2 від «Сельти» у Кубку УЄФА 22 лютого 2001 року[11] йому довелося покинути клуб[12].
Влітку 2001 року Рангнік очолив клуб Другої Бундесліги «Ганновер 96»[13] і у першому ж сезоні зайняв з командою перше місце і вийшов в елітний дивізіон, де протягом наступних двох сезонів зумів закріпити її. У 2004 році, коли успіхи команди дещо знизилися, Рангнік покинув її у березні 2004 року після поразки від «Боруссії» (Менхенгладбах)[14], коли клуб опустився на 15 місце[15].
Перед сезоном 2004/05 фахівець очолив «Шальке 04»[16] і в першому ж сезоні став з кубом віце-чемпіоном Німеччини, а також фіналістом національного Кубка. Втім у новому сезоні результати команди значно погіршились і у грудні 2005 року Рангнік покинув команду[17].
У сезоні 2006/07 Ральф очолив «Гоффенгайм 1899», який тоді грав у Регіоналлізі[18]. Піддавшись на вмовляння президента клубу Дітмара Гоппа він узяв команду, з якої згодом домігся головного успіху у своїй тренерській кар'єрі — за два сезони вивів команду у Бундеслігу, де з першого ж сезону показав чудовий результат — перше місце за підсумками першого кола та сьоме місце за підсумками всього сезону. На початку січні 2011 року покинув команду, будучи незгодним з продажем лідера команди бразильця Луїса Густаву у «Баварію».
17 березня 2011 року знову був призначений головним тренером «Шальке 04»[19] і блискуче дебютував на новій посаді, у чвертьфіналі Ліги чемпіонів здобувши перемогу на виїзді над «Інтернаціонале» з рахунком 5:2. За результатами двох зустрічей (7:3 на користь «Шальке») клуб вперше в своїй історії вийшов у півфінал Ліги чемпіонів[20], де зазнав поразки від «Манчестер Юнайтед»[21]. У тому ж сезоні «Шальке» виграв Кубок Німеччини, а перед початком нового сезону 2011/12 — і Суперкубок у чинного чемпіона дортмундської «Боруссії» в серії пенальті[22].
13 серпня 2011 року «Шальке 04» виграв у другому турі Бундесліги 2011/12 у «Кельна» з рахунком 5:1. Ця перемога виявилася для Рангніка сотою в Бундеслізі. Контракт з «Шальке» був підписаний до 30 червня 2014 року[23][24], втім вже 22 вересня 2011 року Рангнік за станом здоров'я подав у відставку з поста головного тренера[25].
У червні 2012 року Рангнік став спортивним директором «Ред Булл» (Зальцбург)[26], а згодом став працювати на цій же посаді у німецькому «РБ Лейпциг». У сезоні 2016/17 був головним тренером лейпцизької команди[27], з якою став віце-чемпіоном Німеччини, після чого повернувся на посаду спортивного директора. Втім 9 липня 2018 року знову очолив «РБ Лейпциг»[28].
29 листопада 2021 року призначений головним тренером англійського клубу «Манчестер Юнайтед» до завершення сезону 2021/2022.