Midt på 1920-tallet var Pedersen en av de unge partiet hadde stor tro på, og som ble gitt plass på Kominterns såkalte Lenin-skole i Moskva. Fra 1926 til 1928 var han MLS-student.[4] Da han kom tilbake til hjemlandet ble han høsten 1929 ansatt som distriktssekretær i NKP på Vestlandet[5] og fikk en sentral rolle i partiet. I 1932 deltok han på den store, internasjonale antikrigskongressen i Amsterdam, som en av elleve norske delegater blant 2500 delegerte. Han var valgt av Antikrigskomiteen i Bergen.[6]
I 1939 var Pedersen blitt formann for NKP lokalt[7] og satt i bystyret for NKP.[8] Pedersen var blant NKP-lederne på Vestlandet som ble arrestert av tyskerne i november 1940.[9][10] Han satt først i fangeleiren Ulven, der han som «stue-eldste» gjorde en stor innsats for å organisere og hjelpe med-fanger.[11] Derfra ble han i mai 1943 transportert til Grini der han satt til freden kom. Han ble overført fra Grini til Bardufoss og var med å bygge Bardufoss flyplass og kom ikke tilbake til Bergen før 5. juni 1945.[12]
Etter krigen sto han på NKPs lister ved stortingsvalget i 1945 og ble valgt som vararepresentant nr. 2 for Bergen i 1945 - 1949.[13] Også senere sto han på partiets stortingsvalgslister.[14] I årene 1946 til 1951 var han styreleder i Bergen og Omegn Boligbyggelag.
I 1947 holdt Pedersen talen da Minnesteinen på Værlandet ble avduket, til minne om nordmenn som ikke overlevde krigen.[15]
Hans søster, Rodny Fluge Pedersen, var liksom broren aktiv i NKP, og gikk på Lenin-skolen i Moskva samtidig som ham (hun var KUNMZ-student 1927-1931). Hun ble senere gift med den sentrale svenske SKP-partifunksjonæren Gunnar Öhman, bosatte seg i Sverige og satt i to perioder i SKPs sentralledelse.[16]
