Després de començar com a ajudant de director en pel·lícules d'Arthur Penn i Otto Preminger, John Avildsen va tenir el seu primer èxit amb el film de baix pressupost Joe (1970) que va ser rebut per la crítica pel paper de Peter Boyle i el moderat negoci de taquilla. Va ser seguit per un altre èxit de la crítica, Save the Tiger (1973), que va ser nominat per tres Oscars, guanyant el de millor actor per Jack Lemmon.
L'èxit més gran d'Avildsen va ser Rocky (1976), que va tenir deu nominacions de l'Acadèmia, guanyant-ne tres, incloent-hi el de millor pel·lícula i millor director. Altres pel·lícules seves són Cry Uncle! (1970), Karate Kid (1984), Escola de joves rebels (1989), i Vuit segons (1994).