Nato da una famiglia di origine ebreaashkenazitapolacca nell'isola di Long Island (New York), dopo avere suonato la chitarra in un gruppo punk rock newyorchese (Hose), nei primi anni ottanta fondò insieme a Russell Simmons la Def Jam, casa discografica legata storicamente al rap. Nel 1984 produsse un EP dei Beastie Boys, Rock Hard, caratterizzato dall'unione di rock e rap: Rick portò in breve tempo questo genere al successo, grazie agli stessi Beastie Boys e ai Run DMC. Licensed to Ill è l'album per eccellenza di questo genere musicale: (You Gotta) Fight for Your Right (To Party) e No Sleep Till Brooklyn sono l'emblema di questo nuovo modo di fare musica lanciato da Rick Rubin.
Dalla seconda metà degli anni ottanta, dedicò molto la sua attività a gruppi rock e heavy metal. Divenne famoso come collaboratore degli Slayer, producendo Reign in Blood (1986), disco storico dell'heavy metal e prima collaborazione di Rubin con un gruppo del genere. Successivamente, lavorò anche con i Red Hot Chili Peppers, che videro il loro quinto album (Blood Sugar Sex Magik, del 1991) in vetta alle classificheamericane ed europee per molte settimane.
Nel 2007 coprodusse con Mike Shinoda il terzo album in studio dei Linkin ParkMinutes to Midnight, mentre l'anno successivo i Metallica, dopo aver accolto una petizione online fatta dai fan che non avevano gradito l'operato con il precedente produttore Bob Rock, affidano a Rubin la produzione del loro nono album in studio, Death Magnetic, uscito il 12 settembre dello stesso anno.
Nel 2017 produce l'album Oh, vita! di Jovanotti ed in seguito, nel 2022, anche Il disco del Sole. Queste sue frequentazioni toscane lo fanno innamorare di questa terra, tanto che decide di acquistare una tenuta nei pressi di Casole d'Elsa in provincia di Siena.[13] Nel giugno 2024 lo stesso Rubin organizzerà nel piccolo borgo toscano il Festival of the Sun che vedrà esibirsi artisti come Krishna Das, James Blake, Jovanotti e The Gossip.[13]