Hij was al jong actief in de sociaaldemocratische partij en doorliep er alle geledingen. Krag studeerde in 1940 af in de economie aan de Universiteit van Kopenhagen. Hij werkte enkele jaren bij het wetenschappelijk bureau van de Deense vakbeweging. In 1947 werd hij verkozen in het parlement en hij was in 1947-1950 minister van buitenlandse handel. Van 1950 tot 1953 was hij als economisch attaché werkzaam bij de Deense ambassade in de Verenigde Staten. Van 1953 tot 1958 was hij minister van buitenlandse economische aangelegenheden en van 1958 tot 1962 minister van buitenlandse zaken. Van 1962 tot 1968 was hij voor de eerste maal premier van Denemarken en van 1971 tot 1972 opnieuw. In deze regeerperiode vond een volksraadpleging plaats over de toetreding van Denemarken tot de Europese Economische Gemeenschap. Uit teleurstelling dat de uitslag geen onverdeeld 'ja' opleverde, trad hij op 3 oktober 1972 onverwacht af. Nadien verdween hij stilaan van het publieke forum. Hij werd hoogleraarpoliticologie aan de Universiteit van Aarhus en was in 1974-75 ambassadeur van de Europese Gemeenschap in de VS. Hij overleed op 63-jarige leeftijd in juni 1978 aan een hartstilstand.
Jens Otto Krag was een kleurrijke figuur met een turbulent persoonlijk leven. Hoewel hij zich nooit echt politicus had gevoeld (naar eigen zeggen "altijd op weg naar iets anders"), bleek hij dat leven na 1972 toch te missen. Zijn problemen met alcoholisme namen erdoor toe.
Krag was van 1950 tot 1952 gehuwd met de ZweedseactriceBirgit Tengroth. Hij kreeg in 1953 een zoon, die opgroeide bij zijn moeder Lisbeth Hansted. In 1959 trouwde hij met de populaire Deense actrice Helle Virkner. Zij kregen een zoon en een dochter. In 1973 eindigde ook dit huwelijk in een scheiding. Helle Virkner publiceerde in 1997 haar autobiografieHils fra mig og kongen (Groeten van mij en de koning), waarin onder meer haar leven aan de zijde van premier Krag aan de orde komt. De titel is ontleend aan een standaardgrapje van Krag. Van de hand van hun dochter Astrid Helene (1962-2014), bekend als de journaliste Søsser Krag, is het boek Min fars datter (Dochter van mijn vader) uit 2005, dat deels gebaseerd is op zijn dagboeken.
