Carter et Barthel sont amis depuis l'école maternelle. En été 2007, Barthel revient chez elle mécontente de son orientation au Champlain College de Vermont, et Carter revient chez lui après avoir joué à New York avec Grand Habit, un groupe expérimental formé avec son frère, John. Les deux amis se réunissent et forment un groupe[8],[9]. Ils jouent d'abord sur scène mais décident de se consacrer aux albums.
Le duo est à l'origine appelé Charlie Everywhere, joue dans la banlieue de Saratoga Springs, et publie deux EP sur le label local Sub-Bombin Records[8]. Après avoir signé au label britannique Barely Breaking Even le , ils changent de nom pour Phantogram[10],[11],[12].
Leur premier EP éponyme est publié au label CE Records le [13] suivi la même année par l'EP Running From the Cops.
Ils signent chez Barsuk Records en [14] sous les encouragements d'Erich Cannon de Spectre Entertainment, qui les a contacté après avoir trouvé leur page MySpace[15].
Phantogram publie son premier album, Eyelid Movies, le chez BBE (Europe) et Indica Records (Canada), et le chez Barsuk (US). L'album est bien accueilli par la presse spécialisée[16], et comprend trois singles : Mouthful of Diamonds, When I'm Small et As Far as I Can See. L'EP Nightlife est publié le et comprend le single Don't Move. Le duo collabore avec Big Boi d'OutKast sur trois morceaux (Objectum Sexuality, CPU et Lines) sur son deuxième album studio, Vicious Lies and Dangerous Rumors, publié en . Le , Republic Records publie l'EP Phantogram[17]. Il est suivi par un deuxième album, Voices, publié le par Barsuk/Republic. Un cinquième single, Nothing But Trouble, est publié le [18].
Barthel est invitée sur la chanson de Miley Cyrus, Slab of Butter (Scorpion), issue de l'album Miley Cyrus and Her Dead Petz[19]. Phantogram collabore de nouveau avec Big Boi en 2015, pour l'EP sept titres Big Grams, publié le chez Epic Records.