Dufrènoy nacque a Thiais in Francia. I genitori abitavano a Parigi, in un palazzo storico del XVII secolo in cui egli visse per tutta la vita. Studiò presso la scuola Catholic Oratoriens sino ai 17 anni; dopo, con qualche esitazione tra gli studi di architettura e pittura, Dufrènoy decise di diventare pittore.
Studiò con Jean Paul Laurens all'Académie Julian dal 1887. Nel 1890 fu allievo per due anni di Désiré Laugier. I suoi primi dipinti, che espose a partire dal 1895, erano molto influenzati dall'impressionismo. Nel 1902 fece il primo viaggio a Venezia, un luogo del quale rimase impressionato e dove volle ritornare quasi ogni anno fino al 1939, con una pausa durante gli anni della prima guerra mondiale. A Venezia scoprì i grandi maestri veneziani Tiziano, Tintoretto e Veronese.
