Jan fortsatte striden som huset Avesnes førte med Dampierre om Riks-Flandern (Aalst). I 1295 opprettet han nærere kontakt med den franske kongen Filip IV, som etterhvert vendte ryggen til Gwijde van Dampierre. Videre var han talsmann for Floris Vs (hans nevøs) sak hos den franske kongen, Floris hadde en konflikt med greven av Flandern om hvem som skulle ha herredømme over Zeeland.
Da Wulfaard I av Borssele, Hollands engelskvennlige regent ble drept 1. august 1299, ba Dordrecht og de andre byene i grevskapet Jan av Avesnes om hjelp. Han overtok ledelsen og 27. oktober ble han offisielt utnevnt til «ruwaard» (regent) for de neste fem årene av den femten år gamle grev Jan I av Holland. To uker senere døde greven, og Jan av Avesnes som var den neste mannelige arvingen ble grev Jan II av Holland, og fra da av var Holland i personalunion med Hainaut.
Jan av Avesnes visste å bruke de franske suksessene i Flandern i 1300/1301 til å forsterke sin egen posisjon: han slo ned opprøret i Zeeland og plasserte sin egen bror, Gwijde av Avesnes, som biskop av Utrecht istedenfor Adolf av Waldeck. Gwijde av Avesnes var biskop fra 1301 til 1317.
En kritisk periode for huset Avesnes begynte etter det vellykkede flamske opprøret i 1302 (det gylne sporeslaget), der den franske hæren ble slått. Flamske patrioter, støttet av utilfredse innbyggere i Hainaut og Zeeland, angrep disse grevskapene i 1303. Under Gwijde av Namurs kommando ble Vilhelm I av Hainauts styrker (Jans sønn) slått på Duiveland i mars 1304. Biskop Gwijde av Utrecht ble tatt til fange, og Gwijde av Namur og Jan II av Brabant, som hadde sluttet seg til angriperne, erobret den største delen av Utrecht og grevskapene Holland og Zeeland. Gwijde og Jan II av Brabant delte disse områdene mellom seg.
Senere, på sommeren 1304, vendte lykken seg. 11. august ble Gwijde av Namurs styrker definitivt beseiret av en nederlandsk-fransk flåte i et sjøslag ved Zierikzee. Da Jan II av Holland døde var hans makten over Holland og Zeeland nesten helt gjenopprettet.
Familie og barn
Jan giftet seg med Philippine av Luxemburg, datter av grev Henrik II av Luxemburg og Marguerite av Bar, i 1270. Sammen fikk de tolv barn.
Jan, herren til Beaumont, greve av Ostervant (død 11. juli1302)