Vilmin vanhemmat olivat maanviljelijä Iisakki Robert Vilmi ja Hilja Henriika Haapaniemi. Käytyään kansakoulun hän työskenteli maa- ja metsätaloustöissä sekä viljeli omaa maatilaansa Simossa. Vilmi toimi Maaseudun nuorten liiton Peräpohjolan piirin järjestöneuvojana 1945–1950 ja Maalaisliiton Peräpohjolan piirin toiminnanjohtajana 1945–1963. Hän sai kunnallisneuvoksen arvon 1980.
Vilmi oli kansanedustajana 1963–1979 edustaen Lapin läänin vaalipiiriä. Hän tuli eduskuntaan huhtikuussa 1963 kuolleen Markus Niskalan tilalle. Vilmi oli presidentin valitsijamiehenä vuoden 1968 ja 1978 presidentinvaaleissa. Hän toimi Simon kunnanvaltuuston puheenjohtajana ja kuului Simon kunnallislautakuntaan ja kunnanhallitukseen. Vilmi kuului myös Maalaisliiton ja Keskustapuolueen puoluevaltuuskuntiin ja oli Maalaisliiton ja Keskustapuolueen Peräpohjolan piirin puheenjohtajana.
Pekka Vilmi oli naimisissa vuodesta 1942 Olga Emilia Martimon kanssa.
