1990 begann Brian Rafalski seine Karriere bei den Madison Capitols in der United States Hockey League. Ab 1991 ging er auf die University of Wisconsin–Madison, wo er Wirtschaftswissenschaften studierte und für das Universitäts-Eishockeyteam spielte. In der Saison 1994/95 führte er das Team mit 45 Punkten in 43 Spielen in die Finalrunde um die NCAA-Meisterschaft. Er erhielt in dieser Saison mehrere Auszeichnungen, unter anderem als bester Verteidiger der Western Collegiate Hockey Association und wurde ins NCAA First All-Star Team gewählt.
Mittlerweile war auch die National Hockey League auf den US-Amerikaner aufmerksam geworden und die New Jersey Devils nahmen ihn im Mai 1999 unter Vertrag. Im Alter von 26 Jahren gab er somit erst sehr spät sein Debüt in der National Hockey League, doch er konnte direkt an seine guten Leistungen in Europa anknüpfen und gewann noch in derselben Saison mit den Devils erstmals den Stanley Cup. Hinzu kam die Wahl ins NHL All-Rookie Team. Auch in der Saison 2000/01 zogen die Devils ins Stanley-Cup-Finale ein, scheiterten dort jedoch an der Colorado Avalanche. Rafalski war in den Play-offs eine wichtige Stütze für das Team, als er in 25 Spielen 18 Punkte erzielen konnte.
Rafalski spielte in der Folge weiterhin auf konstant hohem Niveau und wurde von der US-amerikanischen Nationalmannschaft für die Olympischen Winterspiele 2002 in Salt Lake City nominiert. Am Ende konnte er mit dem Team die Silbermedaille gewinnen. Im Finale hatte er das zwischenzeitliche 2:2 für die USA bei der 2:5-Niederlage gegen Kanada erzielt.
In der Spielzeit 2002/03 gewann der Verteidiger mit den New Jersey Devils zum zweiten Mal den Stanley Cup und im Jahr darauf wurde er erstmals ins NHL All-Star Game eingeladen. Eine zweite Nominierung folgte 2007. Bei den Olympischen Winterspielen 2006 in Turin gehörte Rafalski wieder zum Kader der USA, welche durch ein Viertelfinalaus gegen Finnland nur Achter wurde. In der Saison 2006/07 stellte Rafalski einen neuen persönlichen Rekord mit 55 Scorerpunkten auf, scheiterte mit New Jersey aber bereits in der zweiten Runde der Playoffs.
Im Sommer 2007 unterschrieb Rafalski als Free Agent einen Fünfjahresvertrag bei den Detroit Red Wings, der ihm insgesamt 30 Millionen US-Dollar einbrachte. Der Abwehrspieler absolvierte die Saison 2007/08 hauptsächlich in der ersten Verteidigungsreihe zusammen mit MannschaftskapitänNicklas Lidström und stellte – obwohl er verletzungsbedingt neun Spiele weniger absolvierte – seinen Rekord aus dem Vorjahr von 55 Punkten ein und führte die Verteidiger der Red Wings mit 13 Toren an.
Auch in den Play-offs bildete er zusammen mit Lidström eine der dominantesten Verteidigungsreihen der Liga und damit großen Anteil am Einzug ins Stanley-Cup-Finale. Nachdem die Red Wings drei der ersten vier Spiele der Serie gegen die Pittsburgh Penguins gewannen, lagen sie im fünften Spiel vor eigenem Publikum mit 0:2 zurück, ehe sie im letzten Drittel ausgleichen konnten und Rafalski wenig später sogar zur Führung traf. Doch mit 35 verbleibenden Sekunden konnten die Penguins das Spiel noch ausgleichen und gewannen es in der dritten Overtime. Im folgenden sechsten Spiel setzte Rafalski mit einem weiteren Treffer zur 1:0-Führung den Grundstein für den vierten Sieg über die Penguins und somit dem insgesamt dritten Stanley-Cup-Sieg in seiner Karriere. Rafalski nahm mit dem Team USA an den Olympischen Winterspielen 2010 teil und gewann mit der Mannschaft erneut die Silbermedaille. Nach der Saison 2010/11 entschied der Verteidiger im Alter von 37 Jahren seine Spielerkarriere zu beenden. Lediglich nach einer mehr als zweijährigen Pause absolvierte er im Januar 2014 bei einem Comebackversuch drei Partien für die Florida Everblades in der ECHL, der aber aufgrund anhaltender Rückenprobleme noch im selben Monat wieder endete.
(Legende zur Spielerstatistik: Sp oder GP = absolvierte Spiele; T oder G = erzielte Tore; V oder A = erzielte Assists; Pkt oder Pts = erzielte Scorerpunkte; SM oder PIM = erhaltene Strafminuten; +/− = Plus/Minus-Bilanz; PP = erzielte Überzahltore; SH = erzielte Unterzahltore; GW = erzielte Siegtore; 1Play-downs/Relegation; Kursiv: Statistik nicht vollständig)