Rall syntyi kauppiaan pojaksi Lounais-Saksassa, Baden-Württembergissä sijaitsevassa pienessä Gaggenaun kylässä. Rallin ollessa kolmevuotias, perhe muutti Stuttgartiin, jossa hän kävi koulunsa, suorittaen ylioppilastutkinnon vuonna 1936. Rallin sotilasura alkoi samana vuonna palveluksella 13. jalkaväkirykmentissä. Seuraavana vuonna hänet komennettiin upseerikokelaaksi ylennettynä Dresdenin Kriegsschuleen (sotakoulu), josta valmistuneena hän sai pyytämänsä siirron Luftwaffeen vuonna 1938. Lentäjäkoulutuksen jälkeen, vuonna 1939, Rall siirrettiin luutnantiksi ylennettynä hävittäjärykmenttiin (Jagdgeschwader 52), jonka riveissä hän palveli lähes koko toisen maailmansodan ajan.
Taistelun Ranskasta aikana Rall saavutti ensimmäisen ilmavoittonsa, ampuen alas Ranskan ilmavoimienP-36-hävittäjän 18. toukokuuta 1940. Taistelussa Britanniasta, 25. heinäkuuta 1940, Rall sai rykmentin kärsimien raskaiden tappioiden vuoksi komentoonsa lentueen, 8./JG 52:n, jonka päällikkönä hän toimi seuraavan kolmen vuoden ajan. 1. elokuuta 1940 hänet ylennettiin yliluutnantiksi. Taistelun Britanniasta jälkeen JG 52 siirtyi Itävallan kautta suojaamaan Romaniaan öljykenttiä. Keväällä 1941 Rallin johtama lentue taisteli rykmenttinsä mukana Kreetalla, jonka jälkeen rykmentti otti seuraavan kerran osaa taisteluihin operaatio Barbarossan alkaessa.
Günther Rall Bf 109-koneensa äärellä 28. marraskuuta vuonna 1943 saatuaan 250. ilmavoittonsa.
28. marraskuuta 1941, saavutettuaan 36:nen ilmavoittonsa, Rall loukkaantui pahoin Rostovin lähellä ilmataistelua seuranneessa pakkolaskussa. Hänen selkänsä murtui kolmesta kohtaa, ja hän palasi yksikköönsä vasta vuoden 1942 elokuussa. JG 52 taisteli tuolloin Kaukasuksella. 3. syyskuuta 1942 Rall saavutti 65:nen ilmavoittonsa ja hänet palkittiin rautaristin ritariristillä. 26. lokakuuta 1942 Rall ampui alas sadannen vastustajansa. Rallin ritariristiin lisättiin tämän johdosta tammenlehvät (Eichenlaub), jotka Adolf Hitler luovutti hänelle henkilökohtaisesti. Huhtikuussa 1943 Rall ylennettiin kapteeniksi ja hän sai komentoonsa hävittäjälaivueen, III./JG 52:n. 12. syyskuuta 1943 Rall saavutti kahdennensadannen ilmavoittonsa ja hänen ritariristiinsä lisättiin miekat (Schwertern). 28. marraskuuta Rallista tuli Walter Nowotnyn jälkeen Luftwaffen toinen 250 ilmavoittoa saavuttanut ohjaaja.
Huhtikuussa 1944 Rall siirrettiin länsirintamalle, Valtakunnan puolustukseen (Reichsverteidigung), torjumaan yhdysvaltalaisten raskaiden päiväpommittajien hyökkäyksiä. Hänet määrättiin II./JG 11 laivueenkomentajaksi, ja hän toimi tässä tehtävässä vuoden 1945 alkupuolelle. Maaliskuussa 1945 Rall ylennettiin majuriksi ja määrättiin JG 300:n rykmentinkomentajaksi, jossa tehtävässä hän toimi sodan loppuun, toukokuun alkuun 1945, asti. Heti sodan jälkeen Rall joutui brittiläisten joukkojen sotavangiksi.
