Der aus Pennsylvania stammende Anderson diente als Offizier im Unabhängigkeitskrieg auf Seiten der Kontinentalarmee. Für den Großteil des Krieges hatte er das Amt des Zahlmeisters in seinem Regiment inne.
Nach dem Krieg schlug er eine juristische Laufbahn ein und wurde in die Anwaltskammer von Delaware aufgenommen. 1791 erhielt er die Berufung zum Bundesrichter für das Südwest-Territorium, aus dem später unter anderem der Bundesstaat Tennessee entstand. Fünf Jahre darauf wurde er Mitglied des ersten Verfassungskonvents von Tennessee.
Politik
1797 wählte die Staatslegislative von Tennessee Anderson zum US-Senator. Sein Vorgänger William Blount war aus dem Kongress ausgeschlossen worden. Seine Amtszeit endete am 3. März 1799; er blieb jedoch nach einer weiteren Wahl durch die Tennessee State Assembly im Senat und nahm dort nun als Nachfolger von Daniel Smith den zweiten Sitz des Staates ein. Nach zwei Wiederwahlen schied er am 3. März 1815 auf eigenen Wunsch aus dem Kongress aus. Während dieser Zeit war er zwischen 1803 und 1804 Präsident pro tempore des Senats gewesen. Joseph Anderson blieb in Washington und wurde zum Comptroller of the Treasury berufen, einer hochrangigen Position im US-Finanzministerium, die er bis 1836 bekleidete. Im Jahr darauf verstarb er in Washington. Er war Sklavenhalter[1].
