Когато баща му умира през 1690 г., той става формално херцог на Лотарингия и Бар под регентството на майка му. Тези територии тогава са още окупирани от французите.
Леополд отива във Виена и чичо му Леополд I го възпитава военно. Той расте заедно с двамата си братовчеди Йозеф и Карл, които стават императори като Йозеф I и Карл VI.
През 1694 г. той участва при обсадата на Тимишоара. През 1697 г. получава от французите Лотарингия обратно и отива в столицата си Нанси. Строи дворец и катедрала.
Умира на 49 години след падане от кон по време на лов.
Constantin von Wurzbach: Habsburg, Leopold Joseph Karl. Biographisches Lexikon des Kaiserthums Oesterreich. Band 6, Verlag L. C. Zamarski, Wien 1860, S. 431 f.