Karpow war eins von drei Kindern des ruinierten Geschäftsmanns Jakow Pawlowitsch Karpow und seiner Frau Maria Michailowna Karpowa. Er war Mitglied des Kampfbundes zur Befreiung der Arbeiterklasse. Seit 1898 war er Mitglied der Sozialdemokratischen Arbeiterpartei Russlands (RSDRP). 1900 gründete er zusammen mit anderen in Woronesch die Nordunion der Arbeiter. 1903 schickte das Zentralkomitee der RSDRP ihn nach Samara, um die Ostsektion der Partei zu organisieren und zu leiten. 1904 wurde er Mitglied des Zentralkomitees der RSDRP (bis 1905) und ging als Vorsitzender der Südsektion der Partei nach Kiew. Während der Russischen Revolution 1905 beteiligte er sich im Dezember 1905 an dem Aufstand in Moskau. Von 1906 bis 1907 war er Sekretär der Moskauer Sektion der RSDRP und wurde mehrere Male verhaftet.