Groza werd geboren uit Roemeense ouders in de Hongaarse provincie Transsylvanië. De inwoners van Transsylvanië bestonden uit zowel Hongaren als Roemenen. In 1918 werd Groza in de Nationale Vergadering van Transsylvanië (Zevenburgen) gekozen. In 1919 werd Transsylvanië een provincie van Roemenië.
Van 1919 tot 1927 was hij lid van het Roemeense parlement voor de Boerenpartij. Van 1920 tot 1921 en van 1926 tot 1927 was hij minister in de kabinetten van Alexander Averescu. In 1927 trok hij zich uit de actieve politiek terug. In 1933 richtte hij het Landbouwersfront (Frontul Plugarilor) op. Vanaf 1944 werkte het Landbouwersfront samen met de Roemeense Communistische Partij en werd Groza minister in het door communisten gedomineerde kabinet.
Op 6 maart1945 werd hij (gesteund door communistenleider Gheorghe Gheorghiu-Dej en Sovjet-minister van Buitenlandse Zaken Andrei Vyshinsky) premier. Ofschoon premier van een coalitiekabinet, gingen de meer invloedrijke ministersposten naar de communisten.
Op 30 december1947 dwongen Groza en Gheorghiu-Dej koning Michael I van Roemenië tot abdicatie en werd de Volksrepubliek Roemenië uitgeroepen. Tot 1952 bleef Groza premier, hoewel hij slechts een marionet was in handen van de communisten. In 1952 verwisselde hij het ambt van premier voor dat van voorzitter van het Presidium van de Grote Nationale Assemblée (dat wil zeggen staatshoofd), dat hij tot zijn dood in 1958 vervulde.
