Frère d'Adolphe Oppenheim, Joseph Oppenheim il s'engage en 1830, lors de la révolution belge, parmi les chasseurs à cheval et se distingue lors de la bataille du Pellenberg.
Il s'associe à son frère dans la banque Oppenheim-Emden et est l'un des fondateurs de la Banque de Bruxelles. Il figure aux côtés de Jonathan-Raphaël Bischoffsheim parmi les initiateurs de la tentative ratée de créer un Crédit mobilier à Bruxelles en 1856.
Sous l'influence de Joseph, il s'intéresse aux valeurs ferroviaires et industrielles, mais également à certains emprunts municipaux français, avec la collaboration de la maison Erlanger.
Naturalisé belge en 1845, il devient conseiller provincial du Brabant en 1860, élu à Bruxelles sur les listes de l'Association libérale. Profondément religieux, il démissionne de son mandat politique du fait que son parti défendait la sécularisation des cimetières.
