Jóhann kvæntist 1938 Ragnheiði Thors, dóttur Hauks Thors (bróður Ólafs Thors forsætisráðherra) og Soffíu Hafstein (dóttur Hannesar Hafstein ráðherra) og áttu þau þrjá syni, Hauk, Jóhann Júlíus og Pétur.
Stjórnmálaferill
Árið 1935 stofnaði Jóhann Vöku, félag lýðræðissinnaðra stúdenta, og var fyrsti formaður þess. Árið 1939 varð hann erindreki Sjálfstæðisflokksins og seinna framkvæmdastjóri hans 1942. Hann var formaður Heimdallar á árunum 1939 til 1942. Þá var hann einnig formaður fulltrúaráðs sjálfstæðisfélaganna í Reykjavík 1943-1955.
Jóhann sat á þingi fyrir Reykjavík1946-1978. Hann gerðist bankastjóri Útvegsbankans1952 en varð iðnaðar- og dómsmálaráðherra 1963. Hann var kjörinn varaformaður Sjálfstæðisflokksins 1965 og tók við formennsku flokksins og embætti forsætisráðherra eftir fráfall Bjarna Benediktssonar1970 jafnframt því að gegna áfram embætti iðnaðarráðherra.
Eftir að viðreisnarstjórnin missti meirihluta sinn 1971 gerðist Jóhann leiðtogi stjórnarandstöðunnar. Haustið 1973 sagði hann af sér formennsku vegna heilsubrests.