Novy wurde als Sohn einer kinderreichen Ottakringer Bauarbeiterfamilie geboren und erlernte das Stuckateurhandwerk. Novy schloss sich 1914 der sozialdemokratischen Bewegung an, wurde 1924 Sekretär der Bauarbeiterbewegung und übernahm 1929 übernahm den Vorsitz in der Bauarbeitergewerkschaft. Bereits 1927 war Novy in den Ottakringer Bezirksrat gewählt worden, zwischen 1932 und 1934 war er zudem Mitglied des Wiener Gemeinderats. Nach der Niederschlagung der Februarkämpfe musste Novy Österreich aus politischen Gründen verlassen und ging zunächst nach Brünn, wo er mit seinem Lehrer Otto Bauer zusammenarbeitete. Novy kehrte mehrmals illegal nach Österreich zurück und emigrierte schließlich im März 1938 nach Schweden, wo er als Bauarbeiter tätig war. 1942 übersiedelte er nach London.
Novy war in der Exilbewegung aktiv und wurde am 7. März 1943 von der Generalversammlung des „Austrian Labour Club“ zum Obmann gewählt. In der Folge konstituierte sich unter seinem Vorsitz im November 1943 das österreichische Repräsentativkomitee, das sich für die Befreiung Österreichs einsetzte. Nach seiner Rückkehr über Paris 1945 gehörte Novy ab dem 13. Dezember 1945 dem Wiener Landtag und Gemeinderat an und wurde am 14. Februar 1946 in die Landesregierung Körner II als amtsführender Stadtrat für Bauangelegenheiten (Verwaltungsgruppe VI) berufen. 1947 übernahm er als Landesobmann den Vorsitz der SPÖ Wien.
Novy war bis zu seinem Tod Gemeinderat und Stadtrat. Er leitete den Wiederaufbau des zerstörten Wiens und ließ die ersten großen Wohnsiedlungen am Stadtrand (Per-Albin-Hansson-Siedlung sowie die Siedlungen Hirschstetten und Stadlau) errichten. Zudem entstand unter seiner Ägide das Strandbad Gänsehäufel. Nach seinem Tod wurde Novy in einem Ehrengrab auf dem Wiener Zentralfriedhof (Gruppe 14C, Nr. 17) beigesetzt. Zur Erinnerung an ihn wurden der Novy-Hof und die Novytherme nach ihm benannt, im Novy-Hof befindet sich ein Denkmal für den Politiker.
Magistrat der Stadt Wien (Hrsg.): Der Gemeinderat der Stadt Wien, der Wiener Landtag, der Wiener Stadtsenat, die Wiener Landesregierung 1945–1985. Magistratsdirektion, Wien 1986.
Novy, Franz, in: Werner Röder, Herbert A. Strauss (Hrsg.): Biographisches Handbuch der deutschsprachigen Emigration nach 1933. Band 1: Politik, Wirtschaft, Öffentliches Leben. München : Saur 1980, S. 534f.