Studiował teologię w Bonn. W 1842 przyjął w Trewirze święcenia kapłańskie. Był kanonikiem kapituły katedralnej w Trewirze oraz proboszczem w Koblencji (1847). Był cenionym kaznodzieją.
Brał udział w soborze watykańskim I. Początkowo wspierał zdanie episkopatu niemieckiego, przeciwnego ogłoszeniu przez papieża Piusa IXdogmatu o nieomylności papieża. Po przyjęciu dogmatu przez sobór Krementz lojalnie bronił nowego prawa, m.in. obłożył karami kościelnymi kilku duchownych w Braniewie, którzy nie podporządkowali się dogmatowi. Ta postawa nieco ochłodziła kontakty biskupa z dworem w Berlinie.
W okresie kulturkampfu bronił praw Kościoła. Przyczynił się do rozwoju kultu liturgicznego i katechizacji na Warmii, jednocześnie umacniał wpływy niemieckie. W okresie sprawowania przez niego biskupstwa miały miejsce objawienia Maryi w Gietrzwałdzie (1877). Krementz wykazywał wobec nich postawę raczej sceptyczną, powołał jednak komisję do zbadania wydarzeń pod kierownictwem księdza Franza Hiplera. Sam odwiedził Gietrzwałd i był obecny podczas objawień w dniu 2 września 1877, rozmawiając wcześniej z widzącymi[1].
30 lipca 1885 został promowany na arcybiskupa metropolitę Kolonii, a jego miejsce na biskupstwie warmińskim zajął Andreas Thiel.
