Taliaferro (ausgesprochen „Toliverr“) wurde 1822 als Sohn von Warner Throckmorton Taliaferro (1802–1877) und der Frances Amanda Booth (1802–1824) geboren. Er war ein Neffe von James A. Seddon, der unter Jefferson DavisKriegsminister der Konföderierten Staaten werden sollte. Taliaferro besuchte die Harvard University und das William and Mary College und schloss sein Studium 1841 ab.
Taliaferro trat während des mexikanischen Krieges in die US-Armee ein und kämpft sowohl im 11. als auch im 9. Infanterie-Regiment. 1853 heiratete er Sarah Nivison „Sally“ Lyons (1828–1899), aus der Verbindung gingen sieben Kinder hervor. Nach dem Krieg trat Taliaferro ins öffentliche Leben ein und diente als Mitglied des Abgeordnetenhauses von Virginia und als prominenter Unterstützer von James Buchanans Präsidentschaftskampagne im Jahr 1856. Er setzte seinen Militärdienst als Kommandeur einer Division der Virginia State Miliz, welche er beim Überfall auf Harpers Ferry führte. Taliaferro wurde nach der Abspaltung Virginias 1861 Kommandeur der Staatsmiliz Virginias; später übernahm er im Rang eines Obersten das Kommando über das 23. Virginia-Regiment. Er erhielt bald ein Brigadekommando, wo er die Truppen der Konföderierten in der Schlacht am Greenbrier River (West Virginia) anführte. Taliaferros Brigade kam Ende 1861 unter den Befehl von „Stonewall“ Jackson. Er blieb 1862 bei Jacksons Korps und stieg dort zum Divisions-Kommando auf. Taliaferro war ein strenger und distanzierter Kommandeur, ein Umstand der viele seiner unterstellten Soldaten entfremdete. Jackson protestierte zunächst gegen Taliaferros Beförderung zum Brigadegeneral, respektierte jedoch Taliaferros Führung und militärische Fähigkeiten und stellte ihm nichts in den Weg, er wählte später Taliaferro sogar für einen temporären Divisionsbefehl. Taliaferro wurde in der zweiten Schlacht am Bull Run schwer verletzt, kehrte aber in der Zeit vor der Schlacht von Fredericksburg auf das Schlachtfeld zurück.
1863 erhielt Taliaferro das Kommando über den Militärbezirk von Savannah. In dieser Funktion führte er Truppen in der Schlacht von Fort Wagner auf Morris Island an. 1864 erhielt Taliaferro das Kommando über alle Kräfte im östlichen Militärbezirk von Florida, was ihn zum Oberkommandierenden der Konföderierten in der Schlacht von Olustee (20. Februar 1864) machte. Danach kehrte er nach South Carolina zurück, wo er 1865 zum Kommandeur aller Streitkräfte in diesem Staat ernannt wurde und den Rang eines Generalmajors erreichte. Taliaferro kommandierte noch immer in South Carolina als die Nordstaaten-Armee unter General William T. Sherman seinen berühmten Marsch zur See nach Savannah ausführte. Taliaferro kehrte nach Virginia zurück, als die konföderierten Truppen von South Carolina, Georgia und Florida in diesem Jahr kapitulieren mussten.
Nach dem Krieg lebte Taliaferro in seinem Geburtsort Gloucester. Er diente in der staatlichen Legislative und als Richter und saß im Vorstand des William and Mary College und des Virginia Military Institut. Er starb in seinem Haus „Dunham Massie“ und wurde in Church Cemetery von Gloucester County begraben.
