Abernathy wuchs als Sohn eines reichen Farmers auf. 1948 wurde er als Baptisten-Prediger ordiniert. 1950 schloss er die Alabama State University mit einem Bachelor of Science in Mathematik ab und besuchte danach die Atlanta University, wo er ein Jahr später seinen Master of Arts in Soziologie machte. Im gleichen Jahr wurde er Pastor der First Baptist Church in Montgomery. Hier traf er einige Jahre später Martin Luther King, der ebenfalls Pastor einer Baptistenkirche in Montgomery wurde. 1955/56 organisierten beide Männer für schwarze Bürger einen Boykott des städtischen Bussystems, der 1956 zu einer Aufhebung der Rassentrennung in öffentlichen Verkehrsmitteln führte. Dieser gewaltlose Boykott markierte den Beginn der US-amerikanischen Bürgerrechtsbewegung, welche sich in den nächsten beiden Jahrzehnten gegen die Ungleichbehandlung von Afroamerikanern einsetzte.[1]
Als die Bürgerrechtsbewegung an Dynamik gewann, setzten King und Abernathy ihre enge Zusammenarbeit fort und gründeten 1957 die Southern Christian Leadership Conference (SCLC), um den gewaltlosen Kampf gegen die Rassentrennung im Süden der USA zu organisieren. King übernahm ihren Vorsitz als Präsident, während Abernathy das Amt des Schatzmeisters und Sekretärs ausübte. 1961 verlagerte Abernathy seine Priestertätigkeiten nach Atlanta, im selben Jahr wurde er zum Vizepräsidenten der SCLC ernannt. Bis zu Kings Ermordung 1968 blieb er als wichtigster Berater an seiner Seite. Von 1968 bis 1977 war er Präsident der SCLC. Seit 1971 arbeitete er in der Christlichen Friedenskonferenz (CFK) mit. 1989 erschien seine Autobiographie And the Walls Came Tumbling Down.[1]