Eind 1958 begon hij met Jack Arnold een opnamestudio, A & R Recording (de initialen van de naam zijn de eerste letters van hun achternaam). Het eerste belangrijke album dat daar werd opgenomen (met Ramone als assistent van geluidstechnicus Tom Dowd) was de plaat "The Genius of Ray Charles" van Ray Charles. Deze plaat, geproduceerd door Jerry Wexler, kwam uit in oktober 1959 en haalde de zeventiende plaats in de Amerikaanse album-hitlijst. Volgende hoogtepunten die in de A & R-studio tot stand kwamen met Ramone achter de knoppen waren onder meer John Coltrane's laatste album "Olé Coltrane", de Quincy Jones-plaat "Big Band Bossa Nova" (1962) en het beroemde bossanova-album "Getz/Gilberto" van Stan Getz en João Gilberto (met de song "The Girl from Ipanema"). Voor het laatste album ontving Ramone zijn eerste Grammy: er zouden er nog dertien volgen. Andere jazzmusici waarmee Ramone in die jaren werkte waren bijvoorbeeld Kai Winding, Donald Byrd en Wes Montgomery.
In 1971 nam Paul McCartney met zijn vrouw Linda in de A & R-studio de plaat "Ram" op. In datzelfde jaar werkte Ramone voor het eerst samen met Paul Simon (de single "Me and Julio Down By the Scool Yard")- in 1976 ontving de door Ramone medegeproduceerde lp "Still Crazy After All These Years" van de zanger een Grammy. In 1974 produceerde Ramone de Bob Dylan-plaat "Blood on the Tracks". In 1977 begon Ramone een vruchtbare samenwerking met zanger Billy Joel: het album "The Stranger", een samenwerking die leidde tot een reeks hitalbums. Ook produceerde Ramone eind jaren zeventig enkele albums van de groep Chicago.
Jaren tachtig en later
Begin jaren tachtig was Ramone mede-producer van het live-album "The Concert in Central Park" van Simon & Garfunkel, met alleen al 2 miljoen verkochte exemplaren in Amerika de meest succesvolle plaat met Ramone als producer. Hij produceerde verschillende albums van Billy Joel, waaronder "An Innocent Man" en "52nd Street"'. De laatste plaat (uit 1978) was het eerste album dat op cd werd uitgebracht, in 1982. In 1989 verkocht hij zijn productiefirma A & R Recordings. In de jaren erna werd hij ook actief in leidinggevende functies: zo werd hij voorzitter van de National Academy of Recording Arts and Sciences. Ramone bleef echter daarnaast werken als producer en geluidstechnicus.
In de eerste helft van de jaren negentig produceerde hij de twee Duets-albums van Frank Sinatra. Verder was hij de (mede-)producer van albums van bijvoorbeeld Liza Minnelli, Elton John & Kiki Dee, Rod Stewart en Tony Bennett. In 2011 produceerde hij de laatste opname van Amy Winehouse, een duet met Bennett ("Body and Soul"). George Michael was de laatste die in 2013 met Phil Ramone heeft samen gewerkt aan het album Symphonica.
Innovatieve studiotechniek
A & R Recordings was de eerste onafhankelijke opnamestudio met een viersporen-techniek. Ramone was de eerste die de Dolby Stereo-techniek (bij de opname van de soundtrack van "A Star is Born", met Barbara Streisand) en de Dolby Surround-techniek (het album "One Trick Pony" van Paul Simon) gebruikte. Tevens was hij de eerste producer die het Dolby Spectral Recording-proces toepaste (bij de filmmuziek voor "Ruthless People"). In 1992 produceerde hij als eerste een hoge definitie-televisieshow (Liza Minelli's Live from Radio City Music Hall).
Ramone installeerde het geluidssysteem en leidde de soundcheck voor het verjaardagsfeestje van president John F. Kennedy in Madison Square Garden, waardoor een licht beschonken Marilyn Monroe haar "Happy Birthday, Mr. President" kon zingen.