Scholz werd in 1923 lid van de communistische partij KPD en zat ten tijde van het nazi-bewind meerdere keren gevangen vanwege illegale politieke activiteiten. Na de oorlog was Scholz redacteur van de KPD-krant Deutsche Volkszeitung, van Neues Deutschland en van het tijdschrift van de VdgB, Der freie Bauer. Van 1948 tot 1949 was hij lid van de Deutsche Wirtschaftskommission, die verantwoordelijk was voor de economie van de Sovjet-bezettingszone in Duitsland. In 1948 was hij mede-oprichter van de Demokratische Bauernpartei Deutschlands (DBD). Scholz was vanaf 1950 vicevoorzitter van deze partij.
In 1949 werd Scholz lid van de Volkskammer. Van 1952 tot zijn pensioen in 1967 was hij vicevoorzitter van de ministerraad van de DDR. Van 1950 tot 1952 en van 1953 tot 1955 was hij minister van land- en bosbouw. In 1989 trok hij zich terug uit zijn functies binnen de DBD. Toen de DBD in 1990 opging in de CDU bleef Scholz partijloos.