Herrgården ligger i en park i centrum av Ulefoss. Det var ursprungligen en lång och låg byggnad i slaggsten från omkring 1730. Den om- och tillbyggdes på 1850-talet under brukspatronen Severin Diderik Cappelen och efter ritningar av Hother Bøttger (1801–1857) i Skien. Herrgården fick då tre flyglar med infart i den sydvästra flygeln. Byggnaden öppnar sig österut mot parken och har där en stor terrass.
Ägare i familjen Cappelen har därefter varit: Severin Diderik Cappelen (1822–1881), kammarherren Diderik Cappelan (1856–1935), godsägaren H.S.D. Cappelen (1892–1980), civilingenjören Diderik Cappelen (1923–2017) och civilekonomen Carl Diderik Cappelen (född 1955), som i sjätte generationen är nuvarande ägare.