Het onderwijsinstituut werd gesticht in 1833 door leden van de Philadelphia Yearly Meeting of the Religious Society of Friends, de afdeling Philadelphia van het Religieus Genootschap der Vrienden (Quakers). Doel was het realiseren van een opleiding die was gebaseerd op de normen en waarden van de Quakers, destijds uitsluitend bedoeld voor (jonge) mannen.
Het hedendaagse college heeft geen formele religieuze connectie meer, maar wordt nog steeds beïnvloed door de Quaker-filosofie. Sinds 1980 staat het ook open voor vrouwelijke studenten. Gedurende het grootste deel van de twintigste eeuw was het studentental beperkt tot 300 – tegenwoordig zijn het er meer dan duizend. Zij kunnen studeren voor de graad van Bachelor of Arts of Bachelor of Science, in de geesteswetenschappen, sociale wetenschappen of natuurwetenschappen.
Haverford College is een van de drie leden van het Tri-College Consortium, waardoor de studenten ook colleges mogen volgen aan het Bryn Mawr College en het Swarthmore College. Voorts is het College lid van het Quaker Consortium, waardoor hun studenten zich ook kunnen inschrijven aan de Universiteit van Pennsylvania.
