Begge hans foreldre var fra familier av jødisk avstamning, men hadde konvertert til katolisismen før Viktor ble født. Hans far, Maximilian, var militæroffiser i hæren til det østerriksk-ungarske riket. Under første verdenskrig ble han forfremmet til oberst og adlet.
Ullmann tilbrakte to år som bokhandler i Stuttgart, men måtte flykte fra Tyskland i 1933 på grunn av Adolf Hitlers maktovertagelse. På grunn av sin jødiske bakgrunn returnerte han til Praha som musikkpedagog og journalist.
Herbert GantschacherViktor Ullmann - Zeuge und Opfer der Apokalypse / Witness and Victim of the Apocalypse / Testimone e vittima dell'Apocalisse / Svědek a oběť apokalypsy / Prič in žrtev apokalipse. ARBOS-Edition, Arnoldstein- Klagenfurt - Salzburg - Vienna - Prora - Prague 2015, ISBN 978-3-9503173-3-6
Герберт Ганчахер Виктор Ульман - Свидетель и жертва апокалипсиса «Культ-информ-пресс» Санкт-Петербург 2016, ISBN 978-5-8392-0625-0