Weichmann studerte jus og arbeidet i statstjenesten.
Årene 1933–1948 tilbragte han i eksil i USA, siden han var jøde.
Etter at han kom tilbake til hjemlandet var han først finanssenator, og senere førsteborgermester i Hamburg. I hans regjeringstid oppnådde SPD store flertall ved valgene.