L'any 1941, Txernenko fou escollit primer secretari del PCUS de Krasnoiarsk. Entre 1948 i 1956 va dirigir el departament de propaganda del partit a l'RSS de Moldàvia. En aquest període va conèixer Leonid Bréjnev i es van fer molt amics. L'any 1953 va treballar a l'Institut Pedagògic de Chişinău.
A la mort de Stalin, Nikita Khrusxov el va succeir al front de la Unió Soviètica i Txernenko va ascendir fins a ocupar importants càrrecs a la burocràcia comunista. L'any 1956 va ser designat Cap d'agitació i propaganda del Comitè Central del PCUS, i quatre anys després, cap de recursos humans del Politburó. L'any 1965 va assumir el departament general del Comitè Central.
Durant els anys 70 del segle xx, Txernenko es va esdevenir un important membre del Comitè Central. L'any 1976 va passar al Secretariat i l'any 1978 a l'escalafó més alt del partit, i per tant de l'Estat: el politburó. L'any 1982, després de la mort de Bréjnev, Txernenko va perdre la cursa cap a la Secretaria general enfront de Iuri Andrópov. Tanmateix, després d'una malaltia greu, Andrópov va morir 1984, i Txernenko el va succeir com a secretari general del PCUS, president del Presídium del Soviet Suprem de l'URSS (cap de l'Estat) i president del Consell de Defensa. Va liderar una reforma educativa i va realitzar diversos ajustaments en l'estructura burocràtica del país. En política exterior, va negociar un pacte comercial amb la República Popular de la Xina. Era un adepte de l'ortodòxia soviètica, de tendència conservador i immobilista. Va ser un mandat d'interregne, i no va impremtar gaire en la transició que Rússia va patir després de la mort de Bréjnev.[3]
Tan sols un any després d'haver assumit el poder, Txernenko, afectat també per greus problemes de salut, va morir el mes de març de 1985.[4] L'urna amb les cendres van ser enterrada en la muralla del Kremlin.[5]