Era fill de l'Oberstuhlrichter (administrador del districte) Alexius Báky i de la seva dona Blanca, de soltera Pal. Fins i tot abans de graduar-se de secundària, va treballar com a projeccionista. Josef von Báky es va graduar a la Universitat Tècnica de Budapest des de 1920. Després va dirigir un hotel al mar Adriàtic en nom d'un banc hongarès i va participar en una distribució de pel·lícules.
El 1927 es va traslladar a Berlín, va treballar com a figurant i va començar la seva carrera artística com a ajudant de direcció de Géza von Bolváry.[2] El 1936 va debutar com a director de llargmetratges amb Intermezzo. Es va fer un nom amb drames mediambientals (Die Frau am Scheidewege, Die kleine und die große Liebe) i el 1941 va assolir el seu gran èxit comercial amb Annelie. Això va significar que se li va permetre dirigir la pel·lícula d'aniversari de la Universum Film AGMünchhausen el 1943. Erich Kästner va escriure el guió de la superproducció (encara que sota un pseudònim per falta de permís d'escriptura), Hans Albers va interpretar el paper principal i moltes estrelles de la UFA com Ilse Werner, Brigitte Horney i Leo Slezak participaren al repartiment.
