Rogers har deltaget i tre olympiske lege. Første gang var i 2000 på hjemmebane i Sydney, hvor han kørte holdforfølgelsesløb (4.000 m på bane) sammen med Brett Aitken, Graeme Brown, Brett Lancaster og Bradley McGee. I kvartfinalen var de uheldige at møde de senere guldvindere fra Tyskland, idet deres tid var bedre end vinderne af de tre øvrige kvartfinaler. Dermed blev de samlet nummer fem.[3]
Ved OL 2004 i Athen kørte han landevejsløb. I linjeløbet var han blandt den store gruppe, der ikke fuldførte.[4] I enkeltstarten blev han i første omgang nummer fire, men da vinderen, Tyler Hamilton, i 2011 indrømmede brug af doping gennem sin karriere, fratog IOC hans guldmedalje fra 2004, så de øvrige deltagere rykkede en tak op. Dermed blev russiske Vjatjeslav Jekimov guldvinder, amerikanske Bobby Julich sølvvinder, og Rogers blev tildelt bronzemedaljen.[5]
I Beijing ved OL 2008 var Rogers i linjeløbet med i det afgørende udbrud, hvor seks ryttere stak af fra frontgruppen på sidste omgang. Davide Rebellin, der kom ind som nummer to, blev dog senere diskvalificeret for brug af ulovlige midler, så Rogers, der kom sidst i mål i spurten blandt denne gruppe, blev derfor nummer fem.[6] I enkelstarten blev han nummer otte.[4]
Rogers' sidste OL var i 2012 i London, hvor han blev nummer 90 i linjeløbet og nummer seks i enkeltstart.[4]
