Butterfield studierte zuerst Kornett bei Frank Simons, begann dann aber ein Medizinstudium. Das gab er wieder zugunsten des Trompetenspiels auf und war zunächst in den Bands von Austin Wiley und Andy Anderson. Bekannt wurde er 1937 bis 1940 als Solist in der Big Band von Bob Crosby und bei dessen Bobcats. Sein Solo auf „What’s New?“ wurde zu seiner Erkennungsmelodie. 1940/41 war er bei Artie Shaw, u. a. 1940 bei dessen Gramercy Five und in dem Film Second Chorus. In Erinnerung blieb besonders sein Solo in „Stardust“. 1941/42 war er bei Benny Goodman und danach bei Les Brown. Der erste von vier Hits mit Aufnahmen seines Orchesters gelang ihm im Juli 1943 mit der Leo-Robin-Nummer „My Ideal“ (#12); Bandsängerin und Ko-Autorin war die bald erfolgreiche Margaret Whiting.
Nach seiner Militärzeit in einer US-Army Band spielte er in den Radioorchestern von ABC und NBC und leitete bis 1947 eine eigene Big Band. Im Februar 1945 hatte er mit „Moonlight in Vermont“ einen Millionenhit. Erfolg hatte er noch im Oktober 1946 mit „Rumors Are Flying“ (#6); danach löste er sein Orchester auf und war als Studiomusiker tätig, spielte hin und wieder bei Eddie Condon und arbeitete ab 1959 teilweise als Lehrer in Rescue in Virginia. Ab 1956 begleitete er maßgeblich Ray Conniffs Karriere mit seinem signifikanten Trompetenspiel und war schon bei dessen erstem Album "'s Wonderful" Mitglied in dessen Orchester. Das Solo in Conniffs "Love Letters In The Sand" ist nur eines unter vielen. 1959 erschien die LP „Conniff Meets Butterfield“, mit Butterfield als Solist. Beide Musiker kannten sich aus der Artie Shaw Band, wo Conniff Posaune gespielt und arrangiert hatte. Eine weitere Kollaboration der beiden Musiker erfolgte 1963 auf der Conniff-LP „Just Kiddin’ Around“ und einigen gemeinsamen Single-Titeln (z. B. „Sweet Sue“). Von 1968 bis 1972 war Butterfield Mitglied der „World’s Greatest Jazz Band“ von Yank Lawson und Bob Haggart. In den 1970er Jahren spielte er u. a. mit Flip Phillips und der „Great Eight“ und war häufig in Europa und Südafrika zu hören. 1983 hatte er ein Quartett mit Tal Farlow, Slam Stewart und Sam Woodyard.
Er war 44 Jahre mit Dorothy „Dotty“ Butterfield (1922–2015[1]) verheiratet und hatte zwei Töchter und zwei Söhne.