Dětství a mládí prožil v Charkově. V roce 1937 začal studovat práva na univerzitě v Moskvě a v letech 1939 až 1941 studoval na Institutu literatury Maxima Gorkého. V letech 1941 až 1945 sloužil v Rudé armádě (byl politruk v pěchotní rotě) a jeho válečné zkušenosti velmi ovlivnily jeho poezii. Po druhé světové válce odešel z armády v hodnosti majora a v letech 1948 až 1952 pracoval v rozhlase.
V roce 1956 způsobil Ilja Erenburg senzaci, když ve svém článku citoval řadu dosud nepublikovaných Sluckého básní. O rok později vydal Sluckij první sbírku svých básní s názvem Память (česky Co nezapomenu, 1958). Společně s Davidem Samojlovem se Sluckij řadí pravděpodobně k nejvýznamnějším představitelům válečné generace ruských básníků a patří, vzhledem k povaze své poezie, mezi zásadní postavy poststalinského obrození.
Již zhruba v letech 1953 až 1954, tedy před XX. sjezdem KSSS, Sluckij ve svých verších odsuzoval stalinský režim. Jeho verše kolovaly v samizdatu50. let a v roce 1961 byly otištěny v antologii v Mnichově. Autorství však Sluckij veřejně nepotvrdil, ani nevyvrátil.
Ve svých dílech se Sluckij vyjadřoval také k židovským tématům, včetně židovské tradice, antisemitismu (včetně antisemitismu v sovětské společnosti), dále holokaustu atd.