Енцо Ле Фе народився у місті Лор'ян і є вихованцем футбольного клуба зі свого рідного міста. У листопаді 2018 року футболіст підписав з клубом професійний контракт.[1] В травні 2019 року у матчі проти «Сошо»[2] Ле Фе дебютував в основі у матчах Ліги 2. Наступного сезону своєю грою футболіст допоміг команді виграти турні Ліги 2 і підвищитися до Ліги 1. Дебют півзахисника у вищому дивізіоні відбувся у серпні 2020 року у матчі проти «Страсбура».[3]
10 липня 2024 року за 23 млн. євро перейшов до італійської «Роми».