Kaltz var ein høgreback med stor løpskraft. Han spelte 581 kampar i den vesttyske bundesligaen i åra 1971 til 1991, alle saman på Hamburger Sportverein, og skåra 76 ligamål. Med laget sitt vart han vesttysk cupmeister i 1976, vinnar av Cupvinnarcupen 1977 og vesttysk ligameister i 1979, 1982 og 1983. Etter finaletap mot Nottingham Forest i Europacupen 1980 og mot IFK Göteborg i UEFA-cupen 1982, lukkast Hamburg og Kaltz å vinne Europacupen 1983 med 1-0 over Juventus i finalen. Sin siste triumf med laget sitt opplevde Kaltz då han i 1987 for andre gong var med å vinne den nasjonale cupmeisterskapen.
Landslagsspel
Kaltz debuterte på det vesttyske landslaget i september 1975, men det var fyrst i 1977 han fekk plass i fyrsteellevaren. Han spelte alle seks kampane til Vest-Tyskland under fotball-VM 1978 og deltok i fire kampar då Vest-Tyskland vann EM i fotball 1980, men var ikkje med i finalen. Derimot var han på bana då Vest-Tyskland tapte VM-finalen 1982 med 1-3 mot Italia. I februar 1983 spelte han i Lisboa sin 69. og siste landskamp. Han skåra åtte landslagsmål.