S približevanjem SlovenijeEvropski uniji se je začel ukvarjati aprila 1998, ko je postal vodja ožje pogajalske skupine za pristop Republike Slovenije k EU. Junija 2000 je za pol leta postal vršilec dolžnosti direktorja Službe vlade RS za evropske zadeve, junija 2001 pa je ravno tako za pol leta zasedel mesto ministrskega svetnika v Kabinetu predsednika Vlade Republike Slovenije. Leta 2002 je postal minister za evropske zadeve in opravljal to funkcijo vse do pridružitve Slovenije Evropski uniji leta 2004. V svojem mandatu je vodil zaključna pridružitvena pogajanja.
Ropova vlada ga je predlagala kot slovenskega komisarja v zadnjem delu mandata Evropske komisije med majem in oktobrom 2004. Romano Prodi mu je dodelil funkcijo komisarja za širitev EU, Potočnik jo je opravljal skupaj z NemcemGünterjem Verheugnom. Komisar je ostal tudi v sestavi prve Evropske komisije, ki je pod vodstvom Joséja Durãa Barrosa začela delati 22. novembra2004 (začeti bi morala že 1. novembra, vendar se je začetek mandata zaradi zapletov z italijanskim komisarjem Roccom Buttiglionom malo zavlekel). Potočnik je bil v sestavi prve Barrosove komisije zadolžen za znanost in raziskave.
Janez Potočnik je bil potrjen kot evropski komisar za okolje v sestavi druge Barrosove Komisije, ki je prevzela dolžnosti 9. februarja 2010.