Rutherford fekk gitartimar frå han var åtte år gammal og spelte i det første bandet sitt the Chesters ni år gammal.[3] Faren hans, Crawford Rutherford, var kaptein i Royal Navy og vart industrileiar då han trekte seg frå tenesta. Rutherford starta på Charterhouse School då han var 13, og vart der med i bandet the Anon i lag med gitarist Anthony Phillips. 15 år gammal starta dei to Genesis i lag med Tony Banks og Peter Gabriel.
Rutherford nytta ofte effektar på bassen, og spelte til dømes plekter og fuzz-boks på songar som «The Knife» og «The Return of the Giant Hogweed». Rutherford spelte òg ein del 12-strengsgitar i bandet, særleg i den første tida av bandet.
Då gitarist Steve Hackett slutta i Genesis, spelte Rutherford all gitar i studio. På konsertane byta han mellom gitar og bass i lag med turnémusikar Daryl Stuermer. Stuermer spelte typisk gitar på songane som Hackett tidlegare hadde spelt på, og bass på songane laga etter Hackett slutta.
I pausar frå Genesis, spelte han inn to soloalbum, Smallcreep's Day og Acting Very Strange. Han var misnøgd med soloarbeidet sitt og avgjorde i 1984 at han ikkje skulle spele inn soloalbum igjen. På grunn av dette starta han i staden bandet Mike + The Mechanics under ein pause frå Genesis i 1985.
Mike + The Mechanics sine største hittar er «All I Need Is a Miracle», «Word of Mouth», «The Living Years», «Silent Running» og «Over My Shoulder». To help promote the song, Rutherford and the record label perpetuated the impression that «The Living Years» was inspired by Rutherford's relationship with his father, who died during Genesis's Invisible Touch Tour. In a 2004 interview, Rutherford confessed that the lyrics were in fact written by B. A. Robertson, and based entirely on Robertson's relationship with his father.[4]
