Brown begon te fietsen op 17-jarige leeftijd. Zijn profwielerloopbaan nam aanvang in 2002 bij Panaria-Fiordo. Daar kwam hij zowel op de weg als op de baan uit. Als baanwielrenner won hij op de Olympische Spelen in 2004 tweemaal goud: de ploegkoers won hij aan de zijde van Stuart O'Grady. Daarnaast maakte hij ook deel uit van het winnende kwartet op de Olympische ploegenachtervolging (samen met Bradley McGee, Brett Lancaster en Luke Roberts). Vanwege deze resultaten ontving hij in 2005 de Medaille van de Orde van Australië.
Toen hij in 2006 naar Rabobank vertrok, ging hij zich enkel en alleen op de weg richten: hij moest de nieuwe sprinter worden bij deze ploeg. Brown was een pure massasprinter en stond bekend als een brokkenpiloot binnen het peloton. De Australiër veroorzaakte menig valpartij in de finale van een wedstrijd. De Ronde van Langkawi is een wedstrijd die hem goed lag; hij won er negen etappes.
.JPG)
_pictogram.svg)