Joseph Jacob von Hirsch wurde als zweiter Sohn des jüdischen Bankiers und Kaufmanns Jakob von Hirsch auf Gereuth geboren.
1840 erbte er die Besitzungen seines Vaters in Planegg und Krailling und blieb bis zu seinem Tod 1885 Schlossherr in Schloss Planegg.
Von Hirsch war mit Karoline Wertheimer (1808–1887) verheiratet und hatte zehn Kinder:
1840 ernannte ihn die Königlich Württembergische Regierung zu ihrem Konsul in München.[2]
Die Ernennung zum Hofbankier („Hofbanquier“) durch den bayerischen König erfolgte 1841.[3]
Als 1857 Justus von Liebig die Kunstdüngerfabrik Bayerische AG für chemische und landwirtschaftlich-chemische Fabrikate (BAG), die spätere Süd-Chemie, gründete, unterstützte ihn Josef von Hirsch finanziell.
1867 wurde ihm das Ritterkreuz des Albrechts-Ordens vom König von Sachsen verliehen.[4]
1869 wurde Josef von Hirsch von König Ludwig II. in den Freiherrenstand erhoben.[5]
In den Wäldern zwischen Planegg und Germering existiert ein Denkmal für Josef von Hirsch, das 1885 errichtet wurde; nach der NS-Zeit wurde es 1948 wiedererrichtet.[6]