Rainey wurde in Georgetown geboren. Seine Eltern waren beide Sklaven. Sein Vater Edward hatte ein erfolgreiches Barbiergeschäft. Damit verdiente er genug Geld, um sich und seine Familie kurz nach Joseph Raineys Geburt freizukaufen. Als Rainey älter wurde, wurde er wie sein Vater ebenfalls Barbier. 1859 heiratete er seine Frau Susan. Als 1861 der Bürgerkrieg ausbrach, wurde er für den Süden dienstverpflichtet. Zunächst arbeitete er bei den Befestigungen von Charleston, dann auch als Arbeiter auf einem Blockadebrecher.
1862 konnten er und seine Frau sich auf die Bermudas absetzen. Sie ließen sich in der Stadt Saint George’s nieder, welche während des Krieges ein wichtiger Umschlagplatz für Blockadebrecher war. Rainey arbeitete dort wieder als Barbier, seine Frau war als Schneiderin erfolgreich. Als es 1865 zu einer Pockenepidemie kam, zog das Paar nach Hamilton. Auch dort arbeitete er als Barbier und Barmann im Hotel Hamilton und wurde ein respektiertes Mitglied der Gemeinde.
Politische Karriere
Als 1866 der Bürgerkrieg zu Ende war, kehrte das Paar nach South Carolina zurück. Er wurde sofort in der Politik aktiv und wurde Mitglied im Exekutivausschuss (Executive Committee) der Republikanischen Partei. 1868 wurde er Mitglied der Kommission, welche die neue Verfassung von South Carolina ausarbeiten sollte. Schon 1870 wurde er in den Senat von South Carolina gewählt, noch im selben Jahr schickten ihn die Republikaner in den Kongress nach Washington. Die Stelle war frei geworden, da sein Vorgänger Benjamin F. Whittemore wegen Korruption vom Kongress nicht akzeptiert wurde. Rainey wurde am 12. Dezember 1870 bestätigt und wurde vier Mal wiedergewählt. Er beendete seine Karriere am 3. März 1879 und war – bis zu William L. Dawson in den 1950er Jahren – der schwarze Abgeordnete mit der längsten Amtszeit.
Während seiner Zeit im Kongress konzentrierte sich Rainey auf die Gesetzgebung zum Schutz der im Süden lebenden Schwarzen. Der Kampf war letztlich vergebens, mit der Reconstruction verloren die Schwarzen fast alle politische Macht.
Im Jahre 1876 gewann Rainey die Wahlen gegen den demokratischen Kandidaten John S. Richardson. Der focht die Wahl an, da Soldaten und schwarze Milizen die Wähler eingeschüchtert haben sollten. Als zwei Jahre später die Reconstruction auch die Politik South Carolinas erreicht hatte, konnte Richardson den Sitz erobern.
Rückzug aus der Politik
Nachdem er den Kongress verlassen hatte, wurde Joseph Rainey zum Rechnungsprüfer für South Carolina bestellt. Er hatte diese Position zwei Jahre inne, danach ging er in die Privatwirtschaft. Rainey ging 1886 in Pension und starb im darauf folgenden Jahr in Georgetown, wo er auch geboren wurde.
Am 21. September 2005 wurde er der erste Schwarze, dessen Porträt im Repräsentantenhaus aufgehängt wurde.
