Il devait constituer l'ultime tome de la série et s'intituler Les Grands Amours. On peut en effet lire à la fin de l'édition originale du Château de ma mère : « À paraître : Les Grands Amours - Suite et fin des souvenirs d'enfance - Tome III ». Cependant, au fur et à mesure de la rédaction, Pagnol s'aperçoit de l'abondance de ce qui lui reste à raconter et remanie le projet à plusieurs reprises ; il ne finalisera que ce troisième tome de la trilogie devenue tétralogie.
Résumé
« Après la terrible affaire du Château, si glorieusement terminée par la victoire de Bouzigue, la joie s'installa dans la petite Bastide-Neuve, et les grandes vacances commencèrent. »
Le jeune Marcel Pagnol décrit ses vacances dans les collines du Garlaban, et ses premiers émois sentimentaux après sa rencontre avec Isabelle Cassignol, fille d'un prétendu grand poète en vacances à La Treille.
En octobre, Marcel entre dans l'enseignement secondaire au lycée Thiers de Marseille. Alors dans une classe de sixième, le futur dramaturge et cinéaste doit apprendre les nouvelles règles du lycée et comment les enfreindre sans se faire punir.
Livre audio
Marcel Pagnol (auteur et narrateur), Le Temps des secrets, Vincennes, Frémeaux & Associés, (EAN356-1-302-52172-5, BNF41349121)
Enregistrement réalisé vers le milieu des années 1960 par Marcel Pagnol à son domicile et retrouvé une trentaine d'années après sa mort. Support : 6 CD audio, durée : 6 h 39 min. Référence éditeur : FA5217. Les textes composant Le Temps des amours, jamais publiés en recueil du vivant de Marcel Pagnol mais désormais considérés comme le quatrième volet des Souvenirs d'enfance, ne semblent pas avoir été enregistrés en version sonore par Marcel Pagnol.
Certains éléments du Temps des secrets sont intégrés au scénario du Château de ma mère, le film réalisé par Yves Robert sorti en 1990, qui met en scène la rencontre entre Marcel et Isabelle.