Advokat och ledamot av delstatens senat i Utah och i Kalifornien
Olson inledde 1901 sin karriär som advokat i Salt Lake City. Han blev känd som en fackföreningsjurist och blev 1916 invald i delstatens senat i Utah. Efter fyra år i delstatens senat bestämde han sig för att inte kandidera på nytt utan flyttade i stället till Los Angeles. Han fortsatte sin karriär som advokat i Kalifornien. Han stödde den progressiva presidentkandidaten Robert La Follette i 1924 års presidentval och demokraten Franklin D. Roosevelt i 1932 års segerrika val. Två år senare kandiderade han själv till delstatens senat i Kalifornien och stödde Upton Sinclair i guvernörsvalet. Medan Sinclair förlorade guvernörsvalet mot republikanenFrank Merriam, Olson själv blev invald till delstatens senat från Los Angeles. Han var en anhängare av Roosevelts reformprogram New Deal och blev sedan demokraternas kandidat i 1938 års guvernörsval i Kalifornien.
Kaliforniens guvernör
Han besegrade den sittande guvernören Frank Merriam i valet och inledde sin ämbetsperiod som guvernör 2 januari 1939. Början var svår eftersom han själv led av en hjärtsjukdom och hustrun Kate avled efter närmare 39 års äktenskap. Till skillnad från företrädaren Merriam hade han ett nära förhållande till fackföreningsrörelsen. Olson benådade fackföreningsaktivisten Thomas Mooney från livstids fängelse. Mooney och Warren Billings hade dömts för ett bombattentat i San Francisco1916. Olson var av den åsikten att det aldrig hade funnits särskilt bindande vittnesmål mot någondera fackföreningsaktivisten och en månad efter att ha benådat Mooney, benådade han även Billings. Medan Olson hade ett bra förhållande till fackföreningsrörelsen, var hans relationer till katolska kyrkan klart sämre. Han motsatte sig sådana lagar som han uppfattade att gynnade medlemmar i en kyrka på bekostnad av andra trosföreställningar. Till sist undertecknade han ändå en lag som innebar gratis skoltransporter för katolska skolbarn. Han sade sig ha blivit hårt pressad av kyrkan. Han lyckades dock förhindra en lag som skulle ha inneburit att katolska barn släpps tidigare hem från skolan så att de kan gå i kyrka. När Olson sedan förlorade 1942 års guvernörsval mot Earl Warren, uppfattade han att den katolska kyrkan i Kalifornien hade spelat en roll i valet till republikanernas fördel.