Riddersberg utgjorde tidigare Rogberga norrgård. Vid mitten av 1600-talet köptes gården av Israel Isaksson, adlad Ridderhielm, som 1661 gjorde den till säteri med namnet Riddersberg. Den såldes senare till Håkan Ridderståhle. Efter ytterligare ägarbyten innehades den av släkterna von Schaeij, Lemchen, von Geyerfelt och Ribbing.[1]
Nuvarande huvudbyggnaden uppfördes 1860–1861 av Peder Arvid Ribbing. Under sin tid som ägare utvecklade han Riddersberg till ett mönsterjordbruk.