A Zeneakadémián 1922-ben kezdte klarinét tanulmányait, és 1927-ben diplomázott. Több zenekarban játszott, és Olaszországban, Törökországban járt tanulmányúton. 1931-ben ismét beiratkozott a Zeneakadémiára, ezúttal zeneszerzést tanult Siklós Albertnél. Az oklevelét 1936-ban szerezte meg.
Az 1930-as évek közepétől bekapcsolódott az illegális kommunista mozgalomba, baloldali értelmiségi és művészcsoportok tagja volt. A német megszállás idején üldözött emberek megmentésében vett részt, amit (jóval halála után) posztumuszVilág Igaza kitüntetéssel ismertek el.
Zeneszerzői stílusára először Kodály Zoltán munkássága hatott, ebben az időben születtek Honvéd kantáta (1949) és Zenekari rapszódia című művei, amiért Kossuth-díjat kapott. Második alkotói korszakában egyre inkább Bartók Béla nyomdokain járt, de már a dodekafón (tizenkét fokú, hangnem nélküli) szerkesztésmód is megjelent műveiben, amiben úttörő volt Magyarországon. Ennek az időszaknak volt a termése például a három nagy Petőfi-kórus és a Klarinétszerenád, amiért másodszor is kitüntették a Kossuth-díjjal. Harmadik stíluskorszakára – amit a Concerto József Attila emlékére (1954), a II. vonósnégyes (1957) és a Hat zenekari darab (1959) vezetett be – már főleg a dodekafónia volt a jellemző. A korszak legjelentősebb alkotásai a Variációk zenekarra (1965), a Klarinétverseny, a Hét fuvolaetűd és a Pilinszky János szövegére (Sötét mennyország) írt Requiem című oratórium. Szervánszky jelentős zeneszerző volt, akiről Kroó György ezt írta a József Attila-concerto és a II. vonósnégyes kapcsán: „Bartóknak ezt a magányos, éjféli hangját és a Mandarin halálzenéjét itt folytatja először az utódok zenéje”. A dodekafóniával és a Hat zenekari darabbal kapcsolatban: „Belépett az avantgárd effektus- és színbirodalmának kapuján. […] Ez a kompozíció ütötte az első betömhetetlen rést a régi stílus kapuján.”
Élete vége felé egyre kevesebbet komponált, 1977. június 25-én hunyt el Budapesten.