De profcarrière van Vansummeren, die de bijnamen Summie en De lange van Lommel kreeg, begon op 1 september 2002 toen hij als stagiair aan de slag kon bij Domo-Farm Frites, waar hij in dezelfde ploeg reed als Johan Museeuw. Na zijn periode als stagiair ging Vansummeren in 2003 rijden voor Quick-Step-Davitamon-Latexco. Voor deze ploeg won hij Luik-Bastenaken-Luik U23, de kleine versie van de bekende wielerklassieker. In dat jaar won hij ook een etappe en het eindklassement van de Ronde van Luik. Op het WK voor beloften in het Canadese Hamilton eindigde hij als tweede, achter Sergej Lagoetin.
In het jaar daarop deed hij opnieuw mee aan de Tour, met een 112e plek als eindresultaat. Zijn beste prestaties waren een 32e stek in de etappe naar Montélimar en een 37e plek in de laatste tijdrit.
Vansummeren boekte in september 2007 zijn eerste echte individuele profzege. Vansummeren won de laatste rit in de Ronde van Polen, een heuvelachtige etappe naar Karpacz en zette dankzij de ritzege ook het eindklassement naar zijn hand.
Sindsdien was Johan Vansummeren een helper in de ploeg van Silence-Lotto. Hij behaalde twee ereplaatsen in Parijs-Roubaix: in 2008 werd hij er achtste om een jaar later op de vijfde plaats te eindigen.
In augustus 2009 tekende Johan Vansummeren een contract bij Garmin om er in 2010 als kopman van het voorjaar te gaan koersen.
In de Tour van 2010 viel hij in de voorlaatste rit, de tijdrit van Bordeaux naar Pauillac, op door te vallen, direct na de start van zijn tijdrit.
Op 10 april 2011 won Vansummeren Parijs-Roubaix, de grootste overwinning uit zijn loopbaan. Direct na zijn overwinning en voor het oog van de camera vroeg hij in de Vélodrome André Pétrieux zijn vriendin Jasmine Vangrieken ten huwelijk.
Op 6 april 2014, tijdens de Ronde van Vlaanderen, reed Vansummeren na een stuurfout in op een toeschouwster die op een vluchtheuvel stond. Hierdoor raakte de dame in kwestie levenslang verlamd. Na een rechtszaak in 2021 werd de schuld voor het ongeval voor 66% bij de toeschouwster, en 33% bij de organisatie van de wielerwedstrijd gelegd.[1]