Raphaël Haroche wurde als Sohn einer argentinischen Mutter und eines russischen Vaters geboren. Als Kind lernt er, Saxophon und Klavier zu spielen, später entdeckt er seine Leidenschaft für die Gitarre und komponiert seine ersten Lieder. Nach dem Abitur begann Haroche ein Jurastudium, brach es aber ab, um sich ganz der Musik zu widmen. In den folgenden drei Jahren begegnete er Caroline Manset, der Tochter Gérard Mansets, die seitdem seine Managerin ist. Er begann seine Bühnenlaufbahn im Vorprogramm der Künstlerin Vanessa Paradis.
Für sein erstes Album, Hôtel de l’Univers, das im Jahr 1999 erschien, bekam er von der Presse sehr gute Kritik. Obwohl sich der kommerzielle Erfolg zunächst in Grenzen hielt, wurde dieses Album als erster Schritt zu einer großen Karriere angesehen. Es folgte eine Tournee durch Frankreich. Sein zweites Album, La Réalité, fand auch beim Publikum Anerkennung. Mit über 160.000 verkauften Exemplaren war es kommerziell erfolgreich, die Veröffentlichung wurde von einer Frankreich-Tournee begleitet. Großen Respekt beim französischsprachigen Publikum brachte ihm Sur la route, ein Duett mit Jean-Louis Aubert.
Mit seinem dritten Album, Caravane, kam Raphaëls endgültiger Durchbruch: Es war das meistverkaufte inländische Album in Frankreich im Jahr 2006. Eine ausverkaufte Frankreich-Tournee, zahlreiche Auftritte in Fernsehen und Radio waren die Folge. Vom französischen Kulturministerium wurde Raphaël mit den Victoires de la Musique als Sänger des Jahres ausgezeichnet. Im Februar 2007 wurde sein Lied Et dans 150 ans bei dem Festival Les Enfoirés von zahlreichen namhaften Sängern gesungen. Für den Schweizer Musiker Stephan Eicher schrieb er den Song Rendez-vous, der auf dessen Album Eldorado zu hören ist.
Als Schriftsteller debütierte Raphaël 2017 mit einer Sammlung von Kurzgeschichten, Retourner à la mer, für die er im selben Jahr mit dem Prix Goncourt de la nouvelle ausgezeichnet wurde.
Raphaël Haroche lebt mit der Schauspielerin Mélanie Thierry, die im Video-Clip zum Lied Caravane zu sehen ist. Zusammen haben sie zwei Söhne (* 2008 und * 2013).
