La seva trajectòria política es va iniciar als 18 anys, quan fou admès en el curs d'enginyeria civil a l'Escola Politècnica de São Paulo de la Universitat de São Paulo. Els seus estudis no van ser conclosos. Va ser dirigent estudiantil i president de la Unió Nacional d'Estudiants als 22 anys.[1]
Quan va succeir el cop militar de 1964, es va exiliar a Bolívia, després a l'Uruguai i finalment a Xile. A Xile, va ser professor de marxisme, fins que la dictadura d'Augusto Pinochet ho va empresonar a l'Estadi Nacional. Va treballar en altres països com els Estats Units, en l'Institute for Advanced Studies a Princeton, sent un exili de 14 anys. Serra va retornar al seu país després que la pena de presó que li pesava (per la seva oposició a la dictadura militar) fos prescrita.[2]
Va ser elegit a la segona volta el 2004 a l'alcaldia de São Paulo, la ciutat més gran de Brasil i d'Amèrica del Sud amb 54,86% dels vots, contra la sortint Marta Suplicy (PT).[3] El 2006 va deixar l'alcaldia de São Paulo per presentar-se a les eleccions a la governació de São Paulo. No obstant això, el 2004 hi havia signat un document jurant que no abandonaria el càrrec d'alcalde per ser candidat al govern (també va recomanar als seus electors que mai més votessin per ell en cas que ell va ser incapaç de complir la seva paraula).[4] No obstant això, va ser elegit a la primera volta amb 57,93% dels vots vàlids, derrotant el candidat del PT, el senador Aloizio Mercadante.[5]
José Serra va ser derrotat per Luiz Inácio Lula da Silva a la segona volta de les eleccions presidencials de 2002 i també per Dilma Rousseff (successora de Lula da Silva), el 2010.[6]
↑«"Não votem em mim se eu sair candidato", diz Kassab sobre eleições 2010» (en portuguès). Folha de São Paulo, 22-10-2008. [Consulta: 2 febrer 2010]. «Kassab assumiu a prefeitura em 2006 justamente pelo fato de o então prefeito, José Serra (PSDB), deixar o cargo para se candidatar ao governo do Estado. Serra também havia assinado um documento em que se comprometia a não sair da prefeitura.»