Johnny Green wuchs in New York auf. Von 1924 bis 1928 studierte er an der Harvard University Ökonomie. Der elterliche Wille sah für Green eine Laufbahn an der Wall Street vor. Er leitete jedoch schon an der Universität ein Tanzorchester und wandte sich bald nach seinem Abschluss der Unterhaltungsmusik zu.
Von 1933 bis 1940 tourte Green mit eigener Tanzbigband oder leitete Bigband-Auftritte in landesweit bekannten Radioshows, so bei Jack Benny, Fred Astaire, der Phillip Morris Show und der Socony Sketchbook Show. Mit seiner Tanzband nahm er in dieser Zeit etliche Titel vor allem aus Astaire/Rogers-Filmmusicals auf Schallplatte auf.
Aus dem Jahr 1935 stammt der Musikkurzfilm Johnny Green & His Orchestra von Warner Brothers Pictures, der Green und sein Tanzorchester zeigt. In dem Jimmy-Durante-Musikfilm Start Cheering von 1938 ist er ebenfalls mit seinem Orchester zu sehen.
1942 ging Green nach Hollywood um bei Metro-Goldwyn-Mayer als Orchesterleiter und Komponist zu arbeiten. Unter seinen Filmmusikarbeiten befanden sich Broadway Rhythm, Bathing Beauty (1944), Mexikanische Nächte (1947), Ihre beiden Verehrer (1947) und Weekend im Waldorf (1945) sowie zwei Deanna-Durbin-Musicals, Something in the Wind (1947) und Up in Central Park (1948). Von 1949 bis 1958 war Green als Generalmusikdirektor („general musical director“) bei MGM in Hollywood tätig. Unter seiner Verantwortung entstanden eine Vielzahl von Filmmusiken, darunter für die Filme Summer Stock (1950), Royal Wedding (1951), Brigadoon (1954), Symphonie des Herzens (1954), High Society (1956), Raintree County (1957), Rufmord (1963).
Für das Soundtrackalbum zu West Side Story erhielt er 1962 einen Grammy. 1972 wurde er in die Songwriters Hall of Fame aufgenommen.
Green war dreimal verheiratet: mit Carol Falk von 1930 bis 1937, mit Betty Furness von 1937 bis 1943, aus der Ehe ging eine Tochter hervor, und mit Bunny Waters von 1943 bis zu seinem Tod, aus der Ehe gingen zwei Töchter hervor, darunter die Sängerin Kathe Green (* 1944).