Il joue son premier match dans la LNH en 2002-2003 à une vingtaine de matchs de la fin de la saison régulière. Les Devils sont alors qualifiés pour les séries éliminatoires et il fait partie de l'équipe qui gagne la Coupe Stanley. À cette occasion, Rupp a marqué le but vainqueur lors du 7e et ultime affrontement de la finale contre Anaheim dans une victoire 3 à 0.
À la fin de la saison, Columubus ne prolonge pas son contrat et c'est en tant qu'agent libre qu'il retourne jouer avec les Devils pour la saison 2006-2007. En 2009-2010, il rejoint les Penguins de Pittsburgh.