Sent estudiant Ozu es va establir en la prefectura de Mie, d'on era originari el seu pare i on, segons va dir, va descobrir el cinema al resultar molt impressionat per La creu de la humanitat (Civilization) de Thomas Harper Ince. Després d'acabar els estudis en l'escola d'Ujiyamada de la ciutat d'Ise (Mie), va treballar com a professor suplent durant un any en l'escola primària Iidaka abans de tornar a Tòquio, on el 1923, gràcies a una recomanació del seu oncle, va començar a treballar en els Estudis Shochiku de Kamata. Allí va començar com ajudant de fotografia, però després de tres anys es va fer ajudant de direcció de Tadamoto Okubo. El 1927 es va estrenar com a director d'un drama d'època (l'únic de la seua filmografia) Zange no yaiba ("L'espasa de la penitència").
Com a director era reconcentrat i perfeccionista. Era vist com un dels directors "més japonesos", i com a tal el seu treball era rarament mostrat en l'estranger abans de la dècada dels seixanta. No va emprar el so fins a 1935 ("per què cercar el soroll quan regna el silenci?", deia, recorda A. Santos), ni tampoc el color fins a Higanbana, el 1958. El seu pla característic era el pres des de solament uns noranta centímetres sobre el sòl, açò és, el punt de vista d'una persona sobre un tatami. També va ser un ferm defensor de la càmera estàtica i les composicions meticuloses en què cap actor dominara l'escena.
Ozu va rebre una medalla del govern japonès el 1958, any en el qual també va guanyar el premi de l'Acadèmia de les Arts del Japó. El 1959 es va convertir en el primer representant del món del cinema a ingressar en aquesta acadèmia. El 1961 es va celebrar una retrospectiva de les pel·lícules d'Ozu en el Festival de Cinema de Berlín, on el director i la seua obra van rebre l'atenció mundial. Donald Richie va escriure, en 1974, la primera biografia d'Ozu en anglès. I el 1979 es va fer un ampli cicle en la Setmana Internacional de Cinema de Valladolid, que havia començat a conèixer-se en cinema-club i filmoteca.
Va rodar un total de 53 pel·lícules, 26 d'elles en els seus primers cinc anys com a director. I totes menys tres amb els estudis Sochiku. Va morir de càncer en el seixantè natalici, quan es trobava en el punt culminant de la fama. Va ser enterrat en el cementiri d'Engaku-ji, temple de la comunitat on va passar els seus últims anys, Kita Kamakura.
