Iskoláit szűkebb pátriájában, Kőbányán végezte. Zongorázni a Kőbányai Zeneiskolában tanult, az orgonával való kapcsolata pedig a Ihász utcai református templomban kezdődött (később ugyanitt készítette a Magyar Televízió többrészes komolyzenei műsorát, Az utókor ítéletét).
1977 óta koncertezik; eddigi életében közel háromezer hangversenyt adott. Budapesti zsinagóga-hangversenyeinek alkalmanként több mint háromezer hallgatójuk van, de ugyanúgy telt házasak párizsi és angliai koncertjei is.[1]
Amikor a szexuális kisebbségek érdekében szót emeltem 1996-ban, az egész társadalom taburendszere dörgött. Ma már más az emberek hozzáállása, egy csomó dologért nem kell harcolni, mert már "kiharcolódott".
– Varnus Xavér, Magyar Hírlap, 2002. december 21.
1981-ben Franciaországba, majd Kanadába utazott; az utóbbi országnak 1984 óta állampolgára, sokszor éveket tölt Európától távol.
2015-ben vásárolt egy berlini lakást és hosszabb időn át élt Magyarországon kívül.[6]
A Balaton szerelmese, családi nyaralójában sokat időzik, illetve a Balaton-felvidék templomi orgonáin játszva is gyakran hallgathatta a közönség. 2022-ben vásárolta meg a használaton kívüli mezőlaki templomot, amit felújított, majd 2023-ban avatta fel az ott elhelyezett új orgonát.[7]
2007 elején a Sony BMG által kiadott CD-felvétele, amelyet a budapesti Művészetek Palotája új nagyorgonáján készített, egy év alatt négyszeres platinalemez lett. From Bach to Star Wars című CD-felvétele (Sony BMG, 2008) megjelenése hónapjában aranylemez lett.
Varnus Xaver Recital in Matthias Church in Budapest (LP, Hungaroton, 1990)
Varnus Plays Bach and Improvise at the Great Organ of the Church of the Holy Spirit in Budapest (LP, Festival Art, 1990)
Organ Magic: Legendary virtuoso Xaver Varnus plays the baroque organ of Szentgotthárd Abbey (1992, Hungaroton; Bach, Mozart, Albinoni)
Varnus Plays Bach (1994, Kodály Zoltán Ének-Zenei Általános Iskola, Gimnázium és Szakközépiskola orgonája, Kecskemét )
Rain, Midnight, Cathedral and Organ – a CD-felvétel a Debreceni Református Nagytemplomban készült (2008, Transatlantic Artists of Canada, korlátozott példányszám)
„Mert álom az ébredés, és ébredés a halál” – apa és fia sétái a Nemzeti Panteonban (Alexandra, Pécs 2002, ISBN 963-368-239-8)
Isten majd megbocsájt: az a mestersége : az Isten majd megbocsájt…, a Folytatás, valamint a Képek és gondolatok című kötetek kibővített és szintetikus kiadása (Alexandra, Pécs 2003, ISBN 963-368-625-3)
↑Bóta Gábor. „Tehetséges muzsikus vagyok”, Magyar Hírlap, 2002. december 21.. [2014. október 6-i dátummal az eredetiből archiválva] (Hozzáférés: 2009. november 10.)