Haley estreou no teatro Vaudeville como dançarino e cantor comediante. Em 1927 começou a fazer pontas em filmes de Hollywood.
Sua grande chance veio em 1939, quando o ator originalmente escalado para o papel de Tin Man em The Wizard of Oz teve um reação alérgica a tinta usada na personagem, então Jack foi contratado para substitui-lo. O ator ficou marcado por esse papel. Depois do sucesso do filme, ele fez algumas comédias e participações em programas de tv.
Foi casado uma única vez, durou até sua morte. Teve dois filhos, o diretor e produtor Jack Haley, Jr. e Gloria Haley-Parnassus. Jack Haley, Jr. foi casado com a atriz e cantora Liza Minnelli, filha da atriz Judy Garland, que atuou com Jack Haley em The Wizard of Oz, em 1939. O casamento acabou em divórcio em 1979. Haley, Jr. morreu em 2001. Em 1978 sua filha Gloria (morta em 2010) publicou a autobiografia do pai chamada Heart of the Tin Man.
