Smrkovský föddes i en bondefamilj i Velenka i Konungariket Böhmen (nuvarande Tjeckien). Som vuxen, började han arbeta som bagare och blev snart sekreterare i Röda fackföreningen (1930-32) och var inblandad i den kommunistiska rörelsen. Han gick med i kommunistpartiet i Tjeckoslovakien (KSC) 1933 och började studera vid en politisk skola i Sovjetunionen. När han återvänt, började han arbeta som sekreterare KSC i Brno (1937-38).
Under andra världskriget arbetade Smrkovský för det illegala kommunistiska motståndet mot den nazistiska ockupationen och blev så småningom medlem av centralkommittén. I maj 1945 förhandlade han, som medlem av tjeckiska nationalrådet, fram ett avtal för den nazistiska enheten i Prag att kapitulera. Han är ökänd (och ofta citerade) för att ha förhindrat den amerikanska armén från att befria Prag via Plzeň. Ett påstående han själv gjorde offentligt under 1960-talet.
Även om tjeckiska nationalrådet upplöstes och dess medlemmar impopulära hos de sovjetiska myndigheterna blev Smrkovský adjungerad till presidiet av centralkommittén i KSC. Han fungerade som ordförande i Egendomsfonden, och valdes 1946 in som medlem av nationalförsamlingen. Under regeringskrisen i februari 1948, tjänstgjorde han som befälhavare för Folkets milis och hjälpte till att stödja den framgångsrika kommunistiska statskuppen.
År 1951 blev Smrkovský plötsligt arresterad och dömdes till livstids fängelse för samarbete med "konspiratörer" runt Rudolf Slánský. Han släpptes 1955 och ansågs helt rehabiliterad 1963.
Pragvåren
Smrkovský bidrog till reformrörelsen 1968 på ett märkligt sätt. Inte nog med att han stödde avlägsnandet av Antonín Novotný från hans post som kommunistpartiets ledare, utan tillkännagav i slutet av januari 1968 de verkliga effekterna av Alexander Dubčeks val som förstesekreterare. Smrkovský utsågs till president i nationalförsamlingen i april 1968 och som en skicklig talare blev han (tillsammans med Dubček) en av periodens mest populära politiker. Han var positiv till demokratiska reformer, men underhöll den kommunistiska ideologin, och fortsatte att stödja KSC:s ledande roll i staten.
Sovjetiska ockupationen
Warszawapaktens invasion av Tjeckoslovakien tog bara en dag. Smrkovský och andra ledande företrädarna för reformen deporterades till Moskva där de instruerades att underteckna det så kallade Moskvaprotkollet (endast František Kriegel vägrade). Vid sin återkomst, försökte Smrkovský, utan framgång, att hindra den stalinistiska flygeln från att ta kontroll. Han avsattes på begäran av Gustáv Husák, blev avstängd från KSC, och allmänt kritiserad. Han dog 1974 och begravdes under poliskontroll.