De vijf oorspronkelijke leden, Eddie Levert, Walter Williams, William Powell, Bill Isles en Bobby Massey, kenden elkaar van de middelbare school. In 1958 werd de zanggroep opgericht in Canton, Ohio als The Triumphs. Later veranderden ze dit in The Mascots. Onder die naam bracht de groep in 1961 de eerste single uit, Miracles. Het nummer werd opgepikt door de in Cleveland uitzendende diskjockeyEddie O'Jay, die de groep regelmatig zou draaien. Als eerbetoon aan hem veranderde de groep in 1963 de naam definitief naar The O'Jays. Onder deze naam hadden ze hun eerste hit, Lonely Driver uit 1963. In 1965 volgde het debuutalbum, Comin' Through. Dat jaar verliet Isles de groep, waardoor The O'Jays werden teruggebracht tot een kwartet.
In 1967 had de groep zijn eerste toptienhit, I'll Be Sweeter Tomorrow (Than I Was Today). Ze hadden echter moeite het succes van deze single te evenaren en overwogen te stoppen, totdat ze Gamble & Huff ontmoetten. Met hun ondersteuning brachten The O'Jays enkele singles uit.
In 1977 stierf Powell op 35-jarige leeftijd aan kanker en werd vervangen door Sammy Strain, afkomstig van Little Anthony & The Imperials. In deze samenstelling bracht de groep nog verscheidene albums en singles uit, maar met minder succes. De laatste grote hit in de VS was Use ta Be My Girl uit 1978; het werd een nummer 5-notering.
Later
In 1987 maakte de groep een comeback met het r&b-album Let Me Touch You, waarop Lovin' You stond, een nummer dat op de eerste plek belandde van de r&b-hitlijsten. In latere jaren brachten ze minder albums uit, maar bleven een succesvolle live-act, ondanks dat er bij Walter Williams MS werd vastgesteld.
In 1992 keerde Sammy Strain terug naar de Imperials. Hij werd eerst door Nathaniel Best (13 december 1960) vervangen en uiteindelijk door Eric Grant.
In deze bezetting was het trio in 2003 te zien in de film The Fighting Temptations; als zingende kappers die zich bij het plaatselijke kerkkoor hadden aangesloten om dirigent Darrin (Cuba Gooding jr.) en leadzangeres Lily (Beyoncé Knowles) een handje te helpen.
In 2019 verscheen het album The Last Word. Datzelfde jaar, op 25 juni 2019, werden The O'Jays door de New York Times in een top 100 opgenomen van artiesten waarvan er in 2008 opnamen verloren zijn gegaan bij de brand in de Universal Studios Hollywood.
Bill Isles overleed 25 maart 2019 op 78-jarige leeftijd.