Van Rossem was sinds 1997 als architectuurhistoricus werkzaam bij het Bureau Monumenten & Archeologie. Hij promoveerde in 1991 cum laude aan de Universiteit van Amsterdam op het proefschrift Het Algemeen uitbreidingsplan van Amsterdam. Geschiedenis en ontwerp. Per 1 mei 2009 werd Van Rossem aan dezelfde universiteit benoemd tot onbezoldigd gewoon hoogleraar Monumenten en stedenbouwkundige vraagstukken van de periode sinds de 19e eeuw, in het bijzonder in de stad Amsterdam, aan de Faculteit der Geesteswetenschappen. Zijn openbare les hield hij op 26 februari 2010.
Vanaf 6 februari 2015 was Van Rossem te zien in het tv-programma Hier zijn de Van Rossems[2] van de NTR op NPO 2. Met broer Maarten was Van Rossem in oktober en november 2019 op televisie te zien in het vierluik Broeders in Berlijn. Op 4 mei 2022 kwam Sis van Rossem te overlijden waarna de broers besloten het programma voort te zetten onder de naam De broeders Van Rossem vanaf 13 september 2023.