1960 körül visszatért Európába az újonnan alapított CERN-be, ahol a gyenge kölcsönhatás szerkezetét vizsgáló kísérleteken dolgozott. 1970-ben a Harvard Egyetem professzora volt, de továbbra is rendszeresen utazott a CERN-be. 1976-ban javasolta, hogy a CERN-beli szuper proton szinkrotront alakítsák át úgy, hogy benne protont lehessen ütköztetni antiprotonnal ugyanabban a gyorsítógyűrűben, emellett elkészítették a világ első antiproton üzemét. Az ütköztető 1981-ben kezdett el működni, és 1983 januárjában bejelentették, hogy sikerült gyenge kölcsönhatást közvetítő W-bozont sikerült létrehozni és megfigyelni a szuper protonszinkrotron mellett épült UA1 detektorban. Pár hónappal később a nehezebben megfigyelhető Z-bozont is megfigyelték.
Rubbia tovább dolgozott az UA1-en és a Harvardon 1989-ig. Ekkor elfogadta a CERN főigazgatói posztját, melyet 1993-ig töltött be.
Carlo Rubbia jelenleg az olasz Paviai Egyetem professzora, és az ENEA (az biztonságos erőművek olasz intézete) elnöke. 2013. augusztus 30-án Giorgio Napolitano olasz köztársasági elnök örökös szenátorrá nevezte ki.