Kaldager var marineflyger, og ble tildelt vingen i 1932. Før krigsutbruddet seilte han en tid i handelsflåten. Under krigen var løytnant Kaldager først instruktør ved Little Norway. Deretter fløy han Sunderland ved 330 (N) Squadron på Sullom Voe, der han snart ble kapteinløytnant og flightsjef i 1943. I 1944 ble han orlogskaptein og skvadronsjef.
Etter krigen var han blant annet sjef ved Sola flystasjon, og fra 1952 sjef for Luftforsvarets Stabsskole. I 1960 var han stabsoffiser ved NATOs hovedkvarter på Kolsås. I 1962 ble han sjef for Luftkommando Østlandet.
Fra desember 1962 var Kaldager sjef for FNs flystyrker i Kongo. I august 1963 overtok han kommandoen for hele FN-styrken (ONUC).
I 1964 var han tilbake ved staben på Kolsås, før han fra 1968 til 1973 var kommandant på Akershus festning, samtidig som han var direktør for Forsvarets høgskole.
