Scheel gjorde fra 1939 til 1945 tjeneste i Luftwaffe, til sidst som premierløjtnant. Han var i samme periode medlem af NSDAP, det tyske nazistparti.
Han fungerede som tysk minister for økonomisk samordning og udvikling 1961-1966. Som leder af partiet FDP trak han det ud af Ludwig Erhards koalitionsregering og forårsagede derved regeringens fald.
I 1969 blev han tysk udenrigsminister og vice-kansler i en socialdemokratisk ledet koalitionsregering. Han blev valgt til forbundspræsident i 1974 og fortsatte i embedet indtil 1979.