Zijn eerste soloalbum, L'incroyable vérité, werd in 2001 uitgebracht onder het Franse label Record Makers. Ter promotie voor het album toerde Tellier samen met de Franse band Air.
Zijn tweede album Politics werd uitgebracht in 2004. Tony Allen, de voormalige drummer van Fela Kuti, was op verschillende nummers te horen.
Tellier heeft ook in enkele films gespeeld, waaronder Steak, een film geregisseerd door Quentin Dupieux. Tellier heeft samen met Quentin Dupieux en Sebastian Akchoté (die ook in de film speelt) de soundtrack voor de film gemaakt.
Eurovisiesongfestival 2008
In 2008 vertegenwoordigde Tellier Frankrijk op het Eurovisiesongfestival in Belgrado. Zijn liedje Divine zou de eerste Franse inzending worden die volledig in het Engels zou worden vertolkt, hetgeen tot een controverse leidde in Frankrijk. Parlementslid Jacques Myard van de centrumrechtse partij UMP vroeg om de inzending te herzien. "Als wij de Franse taal opgeven, wat denk je dat anderen dan zullen doen. Het is niet gepast dat Frankrijk in een Europese wedstrijd een andere cultuur na-aapt."
Om tegemoet te komen aan de kritiek werd uiteindelijk beslist om één couplet in het Frans te zingen. Tellier eindigde op het Eurovisiesongfestival uiteindelijk op een teleurstellende negentiende plaats.
