Taylor studerade juridik och inledde sin karriär som advokat i Tennessee. Guvernörsvalet i Tennessee 1886 blev känt bland delstatens befolkning som Rosornas krig (War of the Roses) efter händelsen i brittisk medeltida historia. Alfred A. Taylor var republikanernas kandidat, medan brodern Robert var demokraternas kandidat. Den röda rosen var symbolen för Roberts anhängare och den vita rosen för Alfreds anhängare. Alfred förlorade valet men blev två år senare invald i representanthuset. Han omvaldes två gånger.
Alfred A. Taylor förlorade republikanernas primärval inför 1910 års guvernörsval mot Ben W. Hooper. Eftersom Hooper besegrade Robert Love Taylor i själva guvernörsvalet, hade han besegrat båda bröderna Taylor under en och samma valrörelse.
72 år gammal vann Taylor slutligen sitt första guvernörsval. Året var 1920 och han fick 55,2% av rösterna. Två år senare kandiderade han till omval men förlorade mot Austin Peay.
Taylors grav finns på Monte Vista Cemetery i Johnson City, Tennessee.[1]
