W latach 1939–1942 Gscheidle odbywał praktykę jako mechanik w Deutsche Reichspost(inne języki). W 1942 roku został powołany do Wehrmachtu. W 1948 został zwolniony z niewoli i pracował następnie na poczcie jako teletechnik. W latach 1950–1951 studiował w Sozialakademie Dortmund. Następnie odbył praktykę zawodową jako inżynier w REFA[1].
Związany z Socjaldemokratyczną Partią Niemiec (SPD), z której list był radnym miejskim w Oberursel, a następnie w latach 1961–1969 i 1976–1980 był posłem do niemieckiego Bundestagu. W latach 1969–1974 był sekretarzem stanu w Federalnym Ministerstwie Poczty i Telekomunikacji, a 16 maja 1974 został mianowany federalnym ministrem transportu, poczty i telekomunikacji w rządzie kanclerza Helmuta Schmidta. Pełnił funkcję do 1982 roku, następnie przeszedł na emeryturę[1].
Zmarł 22 lutego 2003 w Saarbrücken w wieku 78 lat. Został pochowany na cmentarzu w Bad Wildbad[2].