El grup va ser creat i gestionat per Albert Grossman, que volia obtenir un supergrup folk amb finalitats comercials. Amb aquesta finalitat va aplegar una "rossa alta [Mary], un tipus divertit [Paul], i un xicot de bon veure [Peter]". Peter, Paul & Mary començà a cantar l'any 1961, debutant en el The Bitter End, un cafè de Nova York popular com a lloc de trobada de la música folk. El grup gravà el seu primer àlbum, Peter, Paul and Mary a l'any següent (incloïa "500 Milles", "Lemon Tree" ('El llimoner'),[1] i els èxits de Pete Seeger "If I Had a Hammer" ('Si tingués un martell') i "Where Have All the Flowers Gone" ('Què se n'ha fet d'aquelles flors'). El disc romangué deu mesos en la llista dels deu més venuts als EUA, i més de tres anys en la llista dels cent.
En l'any 1963, PP&M ja havia gravat tres àlbums, presents de forma simultània en la llista estatunidenca dels deu més venuts. El grup encara publicaria al mateix any "Puff the Magic Dragon" ("Puff, el drac màgic"), escrita per Yarrow i Leonard Lipton el 1959, i van interpretar "If I Had a Hammer" davant l'auditori aplegat a la Marxa sobre Washington del 1963, coneguda pel discurs 'Tinc un somni' de Martin Luther King. Una de les peces de més èxit va ser la interpretació de la cançó "Blowin' in the Wind" ('Escolta-ho en el vent'), original de Bob Dylan; el grup també cantà altres peces de Dylan, com "The Times They Are a-Changin" ('Els Temps estan canviant'), "Don't Think Twice, it's Alright" i "When the Ship Comes In" ('El dia que el vaixell vindrà'). El desembre del 1969, PP&M va assolir el primer lloc a les llistes estatunidenques de més venuts amb el single "Leaving on a Jet Plane", una cançó de John Denver. "Day Is Done" ('Quan el sol es pon') va ser el darrer disc d'èxit que el grup va gravar, el juny del 1969.
El trio es va desfer l'any 1970, perquè els seus membres volien continuar carreres en solitari, però individualment tingueren molt menys èxit que abans plegats. Tot i això, "The Wedding Song (There is Love)" de Stookey (escrita per al casament entre Yarrow i Marybeth McCarthy, neboda del senador Eugene McCarthy) va ser un èxit i ha esdevingut una peça típica en els casaments nord-americans des del 1971.
En l'any 1978, el grup es reuní per protestar contra l'energia nuclear; posteriorment, PP&M gravà discos i feu gires de concerts, amb una mitjana[2] de 25 intervencions per any. En l'any 1999 entrà en el Vocal Group Hall of Fame. El grup es significà políticament pel seu compromís per la pau a Centreamèrica i per donar suport, tant musicalment com personal, al moviment per la pau i la justícia social a Amèrica. El seu suport inveterat per Israel el distingí d'altres grups de música folk. PP&M va ser guardonat amb el Peace Abbey Courage of Conscience l'1 de setembre del 1990.
El 2004 diagnosticaren leucèmia a Mary Travers, que hagué de suspendre per tot l'any les gires de concerts. Rebé posteriorment un trasplantament de moll de l'os i pogué reprendre les gires al 9 de desembre del 2005, amb un concert al Carnegie Hall. En l'estiu del 2007 calgué interrompre una nova gira[2] a causa de diverses intervencions operatòries de la cantant. La seva mort el 2009 posà punt final a la carrera del trio.