Józef Haller pochodził z jednej z najbogatszych rodzin kupieckich Krakowa XVIII wieku. Jego ojciec Marcin Alojzy Haller w 1795 roku został nobilitowany przez cesarzaFranciszka II i osiadł w majątku Polanka.
Józef ukończył studia prawnicze na Uniwersytecie Jagiellońskim, a następnie podjął pracę w administracji – kolejno austriackiej, Księstwa Warszawskiego oraz Wolnego Miasta Krakowa. W 1833 roku wszedł w skład krakowskiego Senatu Rządzącego, a 26 lutego 1836 roku – po wkroczeniu do Krakowa okupacyjnych oddziałów państwa zaborczych – został przez rezydentów mocarstw opiekuńczych mianowany jego prezesem. Pracował w warunkach ograniczania samodzielności władz krakowskich przez zaborców, przez opozycję był krytykowany za zbytnią uległość wobec rezydentów i nie był popularny wśród mieszkańców miasta. Jednocześnie jednak pozostawał w ostrym konflikcie z szefem krakowskiej policji, wszechwładnym i antypolskim Franciszkiem Guthem. Już po roku złożył rezygnację ze stanowiska, ale mógł ustąpić z niego ostatecznie dopiero 27 kwietnia 1839 roku.
Bogdan Kasprzyk, Michał Kozioł: Józef Haller. W: Poczet sołtysów, wójtów, burmistrzów i prezydentów miasta Krakowa (1228–2010). Bogdan Kasprzyk (red.). Kraków: Urząd Miasta Krakowa, 2010, s. 775. ISBN 978-83-925336-9-6.