Народився в шляхетній родині графа Юзефа Захаріяша Галка-Ледуховського і Марії Розалії з Закржевських. Отримав освіту в Папському Григоріанському університеті. 1861 року отримав сан титулярного архієпископа, 1866 — познансько-гнєзненського архієпископа і примаса Польщі.
У першому періоді володарювання продемонстрував прихильність прусській владі, взявши на себе зобов'язання утримуватися від підтримки національного руху, збільшити участь німців в управлінні дієцезією та виховувати семінаристів в дусі відданості прусській держави. Втім з розгортанням політики культуркампфу 1873 року він відмовився від утисків польської мови в релігійних науках, а також уникав призначення на керівні посади єпархій німців, всупереч бажанням німецької влади. Принципова позиція архієпископа призвела до його ув'язнення 1874 року в Острові Великопольському.
Втім ув'язнення викликало зріст популярності Ледуховського серед польських вірних. Його політика протягом цього періоду була підтримана і Папою римським, який підвищив його до рангу кардинала в 1875 році. Згідно з німецьким законодавством кардинали мають рівні права з членами королівської сім'ї і відтак не можуть бути позбавлені волі. Таким чином в 1876 року архієпископ був звільнений, однак змушений був покинути країну і перебратися до Ватикану, де 1886 року зрікся посади польського примаса.
