Das Herrenhaus wurde 1572 bis 1574 von Philipp von Rodenstein und seiner ersten Frau Margarethe, geborene von Habern als Festes Haus erbaut. Möglicherweise befand sich hier zuvor eine ältere Anlage – der ursprüngliche Sitz der Rodensteiner vor Errichtung der Burg Rodenstein (vorher: Herren von Crumbach) wird in Fränkisch-Crumbach gesucht. 1575 sollen noch Teile einer Ringmauer sichtbar gewesen sein.
Wenige Jahrzehnte später wurde das Gebäude im Dreißigjährigen Krieg bis auf den Keller zerstört. Neidhart von Rodenstein ließ es 1645 wieder aufbauen. Bereits 1650 wurde es an Carl von Rabenhaupt verkauft, der sich seitdem Herr zu Crumbach nannte. Seine Witwe Maria Dorothea heiratete 1693 den Freiherrn Weiprecht von Gemmingen (1642–1702), der dort eine ältere Linie der Familie gründete.
Im 18. Jahrhundert wurde die Anlage modernisiert, in den 1780er Jahren kam der Besitz nach dem Tod von Weiprechts Enkeln an den Treschklinger Zweig der Herren von Gemmingen. Adolph von Gemmingen (1822–1902) ließ im anschließenden Schlosspark 1892 die Sarolta-Kapelle als Mausoleum für seine verstorbene Gattin errichten. Das Schloss wird heute noch von der Familie von Gemmingen bewohnt und ist nicht zu besichtigen.
Anlage
Das Herrenhaus bildet eine Einheit mit der Kellerei (heute Heimatmuseum) und der Evangelischen Pfarrkirche mit Herrengestühl und den kunsthistorisch bedeutenden Grabsteinen der Rodensteiner. Östlich schließt sich ein ehemals barocker Park mit der neoromanisch-byzantinischenSarolta-Kapelle an. Zur Anlage gehört weiterhin ein ausgedehntes, rechteckig angeordnetes Hofgut.
Das eigentliche Schloss ist ein schlichter, siebenachsiger Bau mit repräsentativen Ausmaßen. Das Obergeschoss besteht aus Fachwerk mit einer aufgeputzten Steinimitation, die Giebel sind verschindelt. Hofseitig wird das Gebäude über eine zweiläufige Freitreppe mit Barockportal des 18. Jahrhunderts erschlossen. An der Stirnseite befindet sich das Rodensteiner Wappen (Philipp von Rodenstein und Margarethe, geborene von Habern).
