In 1970 begon zijn samenwerking met pianist Thelonious Monk, in mei dat jaar speelde hij in diens kwartet in een club in Raleigh (North Carolina). Hij was tot Monk's overlijden regelmatig actief in diens groepen. In 1974 werd hij door organisator George Wein gevraagd een vijftien man-tellende band samen te stellen voor een Monk-tribute in Carnegie Hall. Tijdens dat concert verscheen tot ieders verrassing Monk, die de plaats in nam van pianist Barry Harris. In de jaren zeventig (vanaf 1972) werkte hij ook regelmatig voor Charles Mingus.
Hij speelde in 1972 voor het eerst in diens bigband tijdens het Newport Jazz Festival en in de jaren daarna was hij naast speler ook actief als arrangeur voor de contrabassist en bandleider, tot diens overlijden in 1979. In de jaren 1973 en 1974 nam hij verschillende albums als leider op en in 2008 kwam hij met een Thelonious Monk-tribute-album.
Jeffrey was in verschillende functies ook werkzaam voor colleges en universiteiten, onder meer voor Duke University (1983-2003) waar hij onder andere leiding gaf aan het Duke Jazz Ensemble. Verder organiseerde hij enkele jazzfestivals.
Discografie
Electrifying Sounds of the Paul Jeffrey Quintet, Savoy, 1968