1706 köptes det slutligen från engelska kronan av Charles Fitzroy, 2:e hertig av Grafton, men p.g.a. arvstvister m.m. dröjde det till 1740-talet, innan dåvarande hertigen lät bygga det nuvarande slottet efter ritningar av William Kent. Parken anlades efter ritningar av Capability Brown. Slottet kom att bli välkänt som stuteri och the Wakefield Lawn Races ägde rum här årligen fram till 1868.
Hertigarna av Grafton innehade Wakefield Lodge till 1920, då det såldes.