Varga va estudiar aeronàutica a l'Acadèmia Militar de Budapest. Durant la Segona Guerra Mundial, va servir com a oficial a la Força Aèria Hongaresa abans de ser fet presoner de guerra per l'exèrcit dels Estats Units. Va tornar a Hongria el 1945 i es va dedicar a les arts visuals. De 1950 a 1956, Varga va estudiar a l'Acadèmia Hongaresa de Belles Arts de Budapest amb Sándor Mikus i Pál Pátzay, on es va graduar. Des de llavors, Varga va realitzar estàtues i monedes, així com obres monumentals en espais públics.[5]