Il étudie le violon dès l'âge de quatre ans avec son père, Tibor Varga, un chef d'orchestre et violoniste hongrois. Après un accident mettant un terme à une carrière soliste probable, il se mit à étudier la direction avec Franco Ferrara, Sergiu Celibidache et Charles Bruck.
Ses débuts se font tout d'abord en Allemagne et en France, avec des orchestres de chambre comme le Tibor Varga Chamber Orchestra. De 1980 à 1985, il est chef d'orchestre principal du Hofer Symphoniker et de 1985 à 1990, du Philharmonia Hungarica à Marl, avec lequel il a fait des tournées en Allemagne, Autriche, Suisse et Italie. En 1990, sa dernière année en tant que directeur musical, il fait ses débuts hongrois dans une tournée avec Yehudi Menuhin.
Gilbert Varga a aussi été appelé aux finales du Concours musical international Reine Elisabeth (Belgique) soit comme chef d'orchestre, soit comme membre du jury (2015 session violon).
Discographie
Siebenthal – Orchestre Philharmonique Bulgare de Roussé, Gilbert Varga - Symphonie Valaisanne (LP). Concert Hall, Guilde Internationale du Disque, 1976
Tschaikowsky: Concerto pour violon & orchestre en ré majeur, Op. 35; Sérénade pour cordes en do majeur, Op. 48. Alfred Wallenstein (chef d'orchestre), Gilbert Varga (chef d'orchestre), London Symphony Orchestra, Stuttgarter Kammerorchester. Profil - G Haenssler, 2005
Queen Elisabeth Competition Of Belgium - Piano 2007 (Divers). 3 CD, 2007
Anna Vinnitskaya joue les concertos pour piano de Ravel et Prokofiev - Gilbert Varga (Chef d'orchestre)). Naive, 2010.
La Jeune Philharmonie / De Jonge Filharmonie - Wendy Hoffman - Gilbert Varga - Concert de la Société philharmonique / Concert Van De Filharmonische Vereniging(CD, Album). Belgium.