Philip Magnus naît à Londres, fils de Laurie Magnus et Dora Marian Spielmann, et descendant du célèbre éducateur et homme politique conservateur, sir Philip Magnus. Il appartient à une famille juive éminente : sa grand-mère paternelle est l'historienne Katie Emmanuel et sa grand-mère maternelle est Emily Sebag-Montefiore.
Durant la Seconde Guerre mondiale, il s'engage en tant que capitaine dans l'Artillerie royale et le Corps de renseignement, atteignant le grande de major. En 1943, il épouse Jewell Allcroft et, en 1951, ajoute le nom d'Allcroft au sien par déclaration légale.