P.O. Pedersens karriere startede for alvor i 1889, da han sendte et brev med et projekt til et vandingsanlæg til Kong Christian IX. Brevet blev sendt videre til Polyteknisk Læreanstalt, hvorved dennes direktør Julius Thomsen og professor S.C. Borch fik kendskab til P.O. Pedersen og de fattede interesse for at hjælpe ham i gang med at studere. I efteråret 1890 flyttede P.O. Pedersen til København for at studere, med understøttelse fra kongen.
I 1899 kom Pedersen i forbindelse med Valdemar Poulsen. De to indledte et samarbejde omkring Valdemar Poulsens opfindelse, Poulsen-Buen. P.O. Pedersen var teoretikeren og Valdemar Poulsen var den kreative.
I 1912 blev P.O. Pedersen professor ved Den Polytekniske Læreanstalt, og i 1922 blev han direktør for samme. Fra 1933 og til sin død var Pedersen rektor for Den Polytekniske Læreanstalt. I 1937 var han med til at etablere Akademiet for de Tekniske Videnskaber.
Med sin anden kone Emma Clausen Gad (1902-1997) fik han yderligere tre børn: Per Edgar Pedersen (1933-2014), Dan Eivind Pedersen (født 1934) og Rita Ems Pedersen (født 1935).
