De molt jove ingressà a l'il·legal Partit Comunista Hongarès i a causa d'això fou expulsat de la Universitat de Budapest on cursava la carrera de dret. Aleshores treballà de manobre i l'any 1936 s'integrà a les Brigades Internacionals, que acudiren a la Guerra Civil espanyola. Acabada la guerra, passà a França on romangué fins al 1941, que el Govern de Vichy li permeté de tornar a Hongria. Allí, sempre a la clandestinitat, reorganitzà el Partit Comunista amb el seu amic János Kádár.
A finals de l'any 1944 fou detingut per escamots del Partit de la Creu Fletxada, que pretenien lliurar-lo a les forces alemanyes. Tanmateix, la intervenció del seu germà gran Endre, el qual pertanyia a aquell partit feixista, aconseguí que l'alliberessin.
De ministre amb Mátyás Rákosi
Un cop acabada la II Guerra Mundial i ocupada Hongria per l'exèrcit roig, Rajk fou nomenat Ministre de l'Interior en el govern comunista de Mátyás Rákosi, càrrec des del qual endegà la policia política i la depuració sistemàtica d'opositors. Amb la intenció de d'eliminar del país tot allò que sonés a feixisme i a reacció, dugué la dictadura del proletariat fins a l'extrem: dissolgué totes les agrupacions religioses, culturals, nacionalistes i democràtiques i mitjançant els famosos "judicis exemplars" eliminà més de mil cinc-cents opositors.
La caiguda en desgràcia
Tomba de László Rajk
L'any 1948 li fou canviat el ministeri pel d'afers exteriors, maniobra que va ser interpretada més aviat com un càstig que no pas una promoció. Efectivament, el president Rákosi temia l'acumulació de poder en les mans de Rajk. Un any després, en plenes "purgues" stalinianes, el feu detenir amb les falses acusacions d'espionatge en favor del president iugoslauTito i de l'exregent hongarès Miklós Horthy. L'encarregat de detenir-lo fou precisament el seu vell camarada János Kádár, que l'havia substituït com a cap de la policia política.
A la presó, Rajk fou salvatgement torturat i, per consell de Kádár, persuadit de confessar els seus presumptes crims amb la promesa que seria exonerat. Efectivament, en un judici que s'esdevingué entre el 16 i el 24 de setembre de 1949 al Sindicat de Treballadors del Metall de Budapest, Rajk acceptà totes les acusacions, però en contra de la paraula donada fou condemnat a mort i executat a la forca amb altres dos encausats.
L'any 1956, després de moltes protestes degudes a l'evidència que el procés havia estat irregular, la figura de László Raij fou rehabilitada pel Partit Comunista Hongarès, cosa que provocà l'afebliment de Mátyás Rákosi i la seva immediata substitució per Imre Nagy. Anys més tard, János Kádár, esdevingut la màxima autoritat del país, refusà qualsevol responsabilitat en els fets, tot manifestant que haurien estat obra de Rákosi, el qual, amb intenció d'assolir i conservar el poder suprem, no hauria dubtat a promoure processos contra destacats membres del moviment obrer.
