Jeřáb se skládá ze svislé roury, vysoké asi 4 metry, na jejímž konci je otočné rameno nebo nálevka. Ta umožňuje nasměrovat proud vody do plnicích kapes na straně tendru. Parní lokomotiva potřebuje ke svému provozu přibližně sedmkrát více vody než uhlí, proto bylo třeba vodu relativně často doplňovat. Velké rychlíkové lokomotivy ČSD měly tendry s kapacitou až 35 m³, a ty bylo třeba doplnit během několika minut čekání ve stanici. Proto má vodní jeřáb potrubí o relativně velkém průměru (cca 20 cm) a tomu dimenzovaný přívod vody.
Vodní jeřáby na úzkokolejných tratích jsou patřičně menší. Některé dokonce vyžadovaly připojení zdroje páry z lokomotivy pro pohon svého vodního čerpadla.
Vodní jeřáby byly v období parní trakce součástí vybavení všech větších stanic. Řada vodních jeřábů stála obvykle na koncích nástupišť, aby lokomotiva mohla dobírat vodu při zastavení vlaku. Mnoho železničních stanic mělo vlastní vodárny pro zajištění dostatečného množství vody, později bývaly vodní jeřáby připojovány v některých případech i na veřejnou vodovodní síť.
Dnes, po zrušení parní trakce, jsou vodní jeřáby většinou buď demontované nebo nefunkční. Využívají se pouze někdy při nostalgických jízdách.
