6 éves korától művészeti iskolába járt, ezzel párhuzamosan kompozíciós magánórákat vett Ján Cikker professzortól. Később a pozsonyi Zeneiskola növendéke lett, ahol a zongorát Roman Berger osztályában, a zeneszerzést pedig Andrej Očenáš osztályában tanulta.
Az együttes repertoárjában főleg instrumentális kompozíciók szerepeltek, beleértve Bartók, Haydn, Rimszkij-Korszakov, Prokofjev, Sztravinszkij műveinek feldolgozásait, valamint eredeti szerzeményeket, amelyek magukon viselték a zenei posztmodernizmus jeleit, s amelyek mostani zenéjének is lényegét képezik.
A Collegium Musicum 1979-es feloszlása után Varga a magányos pályafutást választotta. Előadásaira jellemző az abszolút improvizációs koncepció. Az utóbbi évek során Pavol Hammellel öt lemezt adtak ki, és az első szlovák rock-musical (Cyrano z predmestia, 1977) zenéjét is ő szerezte.