Philippe Albert nait le à Castres, d'un père perruquier, lui aussi nommé Philippe Albert, et d'une mère au foyer, Marguerite Barthe. Il réalise alors ses études dans sa ville natale, où il demeure encore quelque temps[1], avant d'y publier un premier poème, La Mort d'Eucharis, ainsi que quelques poèmes érotiques, à 18 ans, dans un recueil nommé Pièces fugitives. Il dédie ce recueil à la jeune muse Léonore de Labouïsse, épouse du poète Jean de Labouïsse-Rochefort, qui l'invite alors dans sa demeure à Saverdun où, malgré un accueil chaleureux, elle lui rappelle que dédicacer un livre à une personne sans l'avoir prévenue par avance est quelque peu déplacé. Quant au livre, il est plutôt mal accueilli, malgré une réédition ultérieure à Paris, sous le nom de Les Amours, seconde édition qui recevra même une critique amère de Julien Louis Geoffroy.
Dégoûté par cet accueil, Philippe Albert se replonge dans ses études, entreprenant d'étudier le latin, l'histoire et les belles-lettres. En 1806, à la suite d'une critique sur les poètes Évariste de Parny et Antoine Bertin de Jean de Labouïsse-Rochefort, où celui-ci déclare le premier meilleur que le second, le jeune poète, qui tient Bertin en grande estime, lui envoie une lettre, voulant lui démontrer son erreur. Dès lors, l'entente entre Philippe Albert et Jean de Labouïsse-Rochefort se faisant cordiale, il lui adresse par exemple le , Voyage à Tonneins, un long courrier, mélangeant phase de texte et poèmes, où il raconte son départ de Castres, à destination de Tonneins, village où il fonde une école. Dans ce même courrier, au sujet de la seconde édition des Pensées, recueil de poésies de son interlocuteur, qu'il s'est procuré dès sa sortie, il loue les qualités poétiques de l'auteur. Il termine alors sa lettre par un dernier poème où il demande à son destinataire de ne point l'oublier et de lui pardonner la qualité qu'il estime médiocre de son « badinage ».
Le , Philippe Albert s'était marié avec Élisabeth Guibbert, à Castres, mais devant l'évêque de Montpellier, Nicolas-Marie Fournier de La Contamine. En effet, celui-ci était alors de passage à Castres, qui dépendait de son diocèse, depuis la dissolution de celui de Castres en 1801. Alors qu'il visitait l'ancienne école de Philippe Albert, celui-ci sur demande du directeur, prononça un discours en vers pour complimenter le prélat, qui s'en trouva charmé. De surcroit, le soir-même, une pièce de théâtre sur la mort d'Abel était donné par l'école, pièce à laquelle assista l'évêque et où Philippe Albert joua le rôle de Caïn. L'évêque demanda à célébrer lui-même le mariage de celui-ci, lorsqu'on lui annonça qu'il devait se tenir quelques jours après.
