Conseiller d'entreprise de formation, Paul Pernin s'associe dans les années 1970 au nouveau parti de Valéry Giscard d'Estaing, l'UDF, sans pour autant y adhérer. Paul Pernin est le fondateur du Centre démocrate dans la capitale qu'il préside jusqu'en 1983. Initialement gaulliste et membre du RPF, il est élu en 1959 au Conseil de Paris sous l'étiquette UNR. Il rompt avec de Gaulle en 1962, car en désaccord avec l'indépendance de l'Algérie. Il se rapproche alors du MRP (futur centre démocrate) et de Jean Lecanuet. Battu aux municipales de 1965, il intègre en 1974 le Conseil économique et social jusqu'à son élection à l'Assemblée nationale en 1978 comme député UDF. Réélu en , il cède son siège à Pierre de Bénouville à la suite de l'introduction de la proportionnelle départementale en 1986, puis du redécoupage des circonscriptions à Paris pour les elections de 1988.
En 1977, il revient au Conseil de Paris, élu du 12e arrondissement au sein d'une liste d'union de la Majorité avec le général de Benouville.Il soutient l élection de Jacques Chirac à la mairie. En 1983, il est élu maire du 12e arrondissement de Paris, puis réélu à ce poste en 1989. C'est sous ses deux mandatures que le 12e arrondissement de Paris va profondément changer. Il est en partie à l'origine de nombreux projets des quartiers de Bercy et de la ZAC Reuilly, de la promenade plantée et du viaduc des Arts.