A.P. Carter lernte als Kind Volkslieder von seiner Mutter. Später gründete er mit drei weiteren Familienmitgliedern ein Gospelquartett. Seinen Lebensunterhalt verdiente er als Handelsvertreter für Obstbäume. Auf einer seiner Touren lernte er Sara Dougherty kennen, die, wie er selbst, eine Vorliebe für traditionelle amerikanische Musik hatte.
Am 18. Mai 1915 heirateten die beiden. Während der nächsten Jahre sangen und musizierten die Eheleute überwiegend im privaten Umfeld. Mitte der 1920er-Jahre schloss sich ihnen Maybelle Carter, geborene Addington, an, die mit einem Bruder A.P.s verheiratet war. Die damit komplette Carter Family wurde innerhalb kurzer Zeit zur erfolgreichsten Hillbilly-Gruppe der ersten Hälfte des 20. Jahrhunderts. A.P. Carter durchstreifte regelmäßig ländliche Gebiete speziell in den Appalachen und sammelte dort Volksmusik. Er trug so hunderte von Liedern zusammen, von denen viele von der Carter Family auf Schallplatte aufgenommen wurden.
1943 löste sich die Gruppe nach der Scheidung von A.P. und Sara auf und A.P. zog sich aus dem Musikgeschäft zurück. Im Jahr 1952 gründete er jedoch gemeinsam mit seiner Ex-Frau und ihrer gemeinsamen Tochter Janette die Carter Family ein zweites Mal. Als größere Erfolge ausblieben, trennte sich die Gruppe 1956 wieder. A.P. Carter starb vier Jahre später in seinem Heimatort Maces Springs, Virginia.
