Serafinowicz est le fils de Catherine Geary, employée des postes, et Szymon Serafinowicz, ouvrier en bâtiment. Son père grandit dans le Surrey, lui-même fils d'une mère polonaise et d'un père biélorusse. Peter Serafinowicz travaille pour BBC Radio 1 puis BBC Radio 4, avant de faire quelques apparitions à la télévision, notamment en tant qu'invité dans la série Les Allumés sur Channel 4.