Han var søn af statsminister Hermann Jónasson. Da han voksede op, var Island præget af Den store depression, og som ung hørte han ofte på når faren diskuterede 2. verdenskrig hjemme i stuen. Han ville ikke ind i politikken, men tog til USA for at studere i 1948. Hermannsson uddannede sig til ingeniør i Chicago, og på Caltech og blev direktør for Islands forskningsråd i 1957. Men i 1960'erne gik han alligevel ind i politikken og blev valgt til Altinget i 1971, før han blev partileder i 1979.
Efter at have tjent som statsminister blev han chef for Islands Nationalbank, en stilling han havde fra 1994 til han blev pensionist i 1998.
Nogle ville nominere ham til præsident i 1996, men det takkede han nej til, han ønskede at gå af da han var 70 og ikke sidde ud over det. Efter at Hermannsson trak sig tilbage, holdt han til at begynde med en lav profil. Men senere engagerede han sig, blandt andet mod EU, og han blev mere kritisk overfor sit gamle parti. Hermannsson støttede et miljøinitiativ, som blev taget før valget i 2007 noget, hvilket medførte, at han næsten mistede rollen som sit partis grand old man.
Hans erindringer, der udkom i tre bind fra 1998 til 2000, blev en bestseller.