Ehlers syntyi Minnesotassa ja opiskeli fysiikkaa, josta hän sai tohtorinarvon vuonna 1960. Hän aloitti poliittisen uransa vasta 1970-luvulla, ja kongressipaikkansa hän sai alun perin Paul B. Henryn kuoltua aivokasvaimeen.[2][3]
Ehlers oli vuodesta 1958 naimisissa Johanna o.s. Meulinkin kanssa, ja hänellä oli neljä lasta.