Han var riksadvokat i Tsjekkoslovakia frå 1990 til 1992, utnemnt av Václav Havel, men gjekk over i politikken for det populistiske partiet HZDS. Gašparovič var medlem av den slovakiske nasjonalforsamlinga frå 1992 til 2002, der han var formann i perioden mellom 1993 og 1998.[1]
I 2003 valte Gašparovič å forlata tidlegare president Vladimír Mečiar sitt nasjonalistiske parti Hnutie za demokratické Slovensko (Rørsla for eit demokratisk Slovakia), han skipa dinest sitt eige parti, Hnutie za demokraciu (Rørsla for demokrati), men dette kom ikkje inn i nasjonalforsamlinga.[1]
Då Gašparović stilte til val som president i 2004, fekk han 22 % av røystene ved valet og gjekk vidare til annan valomgang, der han slo ut sin tidlegare partifelle Vladimír Mečiar. Gašparovič fekk 60 % av røystene. Ein vesentleg årsak til valsigeren var uro for Mečiar sin autoritære leiarstil og nasjonalistiske haldningar.[1]
