Rafalski je člansko kariero začel v švedski ligi pri klubu Brynäs IF v sezoni 1995/96, za tem je igral še v finski ligi za kluba HPK Hämeenlinna in HIFK Helsinki. V sezoni 1996/97 je bil izbran za najboljšega branilca finske lige, v sezonah 1997/98, 1998/99 pa v idealno postavo finske lige. Pred sezono 1999/00 je prestopil v ligo NHL, kjer je odigral sedem sezon za New Jersey Devilse, štiri sezone pa za Detroit Red Wingse. Skupno je v ligi NHL odigral 833 tekem rednega dela, na katerih je dosegel 79 golov in 436 podaj, ter 165 tekem končnice, na katerih je dosegel 29 golov in 71 podaj. Nastopil je v petih finalih Stanleyjevega pokala, trikrat pa ga je osvojil, v sezonah 1999/00 in 2002/03 z Devilsi in 2007/08 z Red Wingsi. V sezoni 2013/14 je odigral tri tekme za Florida Everblades v ligi ECHL.
