크류치코프는 소련 외무부에서 첫 경력을 시작했으며, 헝가리에서 반소항쟁이 일어난 1959년까지 일했다. 그는 소련 공산당 중앙위원회로 옮겨 8년을 근무했으며, 1967년 훗날 소련 공산당의 서기장이 되는 유리 안드로포프와 함께 국가보안위원회로 옮긴다. 그는 1974년 국가보안위원회의 해외첩보를 담당하는 1총국장이 되었으며 1978년에는 부위원장으로, 1988년에는 장군 직책에 오름과 더불어 국가보안위원장으로 임명되었다. 1989년부터 1990년까지 정치국원으로 재직했다.
크류치코프는 정치적으로는 보수파 성향의 인물이었기에, 1983년 북대서양조약기구(NATO)의 훈련인 '에이블 아처'를 소련에 대한 핵공격으로 잘못 인식했다. 이는 냉전사에 있어 쿠바 미사일 사태와 더불어 우발적 핵전쟁 직전까지 갔던 사례였다.
1991년, 고르바초프가 기존의 공산당 중심 연방 체제를 해체하고 새로운 형태의 연방을 창설하려 했다. 하지만 국가보안위원장이었던 크류치코프는 자신의 기득권을 잃을 것을 두려워하여, 부통령인 겐나디 야나예프 등 몇몇 보수파들과 함께 쿠데타를 일으켜 고르바초프를 추방하고 권력을 장악했다. 하지만 쿠데타는 소련 시민들의 반대로 실패하고, 크류치코프는 체포되었다.
1994년 러시아 국가 두마의 지시로 석방되었으며, 2007년 11월 23일 러시아 모스크바에서 사망했다.