Koivisto inledde sin politiska karriär i hemkommunen, där han bland annat satt i kommunalfullmäktige 1918–1957. Han var ledamot av Finlands riksdag för Agrarförbundet 1927–1951 och medlem av regeringen som lantbruksminister 1930–1931 och 1937–1940 samt som finansminister 1941–1943. Han tillhörde under efterkrigsåren de gamla agrarledare som motsatte sig den omläggning av partiets kurs som genomfördes av Urho Kekkonen.
