2006 schloss sich Rhule der Temple University in Philadelphia, Pennsylvania, an.[3] Dort war er zunächst Trainer der Defensive Line, ab 2008 wurde er jedoch zum Offensive Coordinator befördert. Nach einem Jahr bei den New York Giants wurde er 2013 zum Cheftrainer der Temple University. In seiner Zeit als Cheftrainer konnte er insgesamt 28 Spiele gewinnen und verlor nur 23.[4] Er gewann mit ihnen auch eine Conference Championship. Am 6. Dezember 2016 wurde Rhule der neue Cheftrainer der Baylor University in Waco, Texas. Er gewann insgesamt 19 Spiel, die 18 Niederlagen gegenüberstanden, und einen Texas Bowl.[5] Außerdem wurde er zum Trainer des Jahres 2019 der Big 12 Conference gewählt.[6]
Head Coach der Carolina Panthers
Am 7. Januar 2020 wurde Rhule als neuer Head Coach der Carolina Panthers vorgestellt. Er trat damit die Nachfolge von Ron Rivera an.[7] Bei seinem Debüt beim neuen Team unterlag er den Las Vegas Raiders mit 30:34, seinen ersten Sieg als Cheftrainer in der NFL konnte er am 3. Spieltag mit 21:16 gegen die Los Angeles Chargers einfangen. Insgesamt führte er die Panthers in seinem ersten Jahr nur zu 5 Siegen bei 11 Niederlagen.[8] Auch in seiner zweiten Saison konnten sich die Panthers nicht steigern. Erneut gewannen sie fünf Spiele, diesmal standen dem jedoch 12 Niederlagen gegenüber.
In der Saison 2022 wurde er nach dem fünften Spieltag mit einer Bilanz von zwei Siegen und drei Niederlagen am 10. Oktober 2022 entlassen.
Rückkehr ans College
Nach seiner Entlassung gab es viele Spekulationen, dass Rhule in der neuen Saison erneut als Trainer am College arbeiten würde. Am 23. November 2022 wurde er schließlich als Head Coach der Nebraska Cornhuskers der University of Nebraska ab der Saison 2023 bekanntgegeben.[9] In seiner ersten Saison konnten die Cornhuskers allerdings nur fünf Spiele gewinnen, dabei verloren sie sieben Spiele.
