Reste der mittelalterlichen Burg Crimmitschau (dies war deren mittelalterlicher Name) sind in der 1994 zum Tagungszentrum umgebauten Anlage gut zu erkennen.
Nach dem Erlöschen der Herren von Crimmitschau kam die Burg Crimmitschau in den Besitz der mit ihnen verwandten Schönburger. Diese Linie der Schönburger nannte sich nun nach Burg Crimmitschau Herren von Schönburg-Crimmitschau und hatte hier ihren Stammsitz.
Im Zuge der ostdeutschen Kolonisation entstand in der zweiten Hälfte des 12. Jahrhunderts die Stadt und Burg Crimmitschau. Es fehlen zwar urkundliche Belege dafür, jedoch sind die Nachbarorte (1165–72 Burg Waldenburg, 1174 Meerane) in dieser Zeit erstmals genannt. Als Basis der Ansiedlung diente eine ältere slawische Ansiedlung. Die Herren von Crimmitschau, ein edelfreies Geschlecht unbekannter Herkunft, wurden 1212 erstmals urkundlich als Bürgen für Otto IV. erwähnt. Aus der Stellung, die sie einnahmen, ist zu folgern, dass sie die Herrschaft als Reichslehen innehatten. Die Herren von Crimmitschau gehörten zu den führenden Familien des Pleißenlandes und stellten mehrfach den pleißnischen Landrichter.
Im Nordwesten war gleichzeitig mit der Herrschaft Crimmitschau die Herrschaft der Starkenbergs um Grünberg, Heyersdorf und Frankenhausen entstanden. Die Vögte von Weida kolonialisierten ebenfalls im Territorium und besaßen u. a. Güter in Rudelswalde und Lauenhain. Im Südosten erstreckten sich die Schönburgischen Besitzungen. Die Ausdehnungsmöglichkeiten der Herrschaft Crimmitschau waren dadurch begrenzt. Außerdem befand sie sich im Kreuzungspunkt zweier Kolonialisierungslinien, die einerseits von Thüringen über das Pleißenland ins Erzgebirge und andererseits von Weida aus ostwärts in das Waldgebiet wiesen. Das behinderte die Entwicklung der Herrschaft maßgeblich.
Die Errichtung der in Teilen erhaltenen mittelalterlichen Wasserburg ist in das 13. Jahrhundert zu legen. 1222 wurde es als „vest huz cremascowe“ bezeichnet. Schon im 13. Jahrhundert starb das Geschlecht der Herren von Crimmitschau aus. Günther von Crimmitschau war 1270–73 in den Deutschen Orden eingetreten. Die Herrschaft übernahmen die Schönburger, die hier eine Seitenlinie gründeten. 1322 urkundete Friedrich von Schönburg auf Burg Crimmitschau. Als auch die Crimmitschauer Linie der Schönburger Ende des 14. Jahrhunderts ausstarb, fiel die Herrschaft Crimmitschau an die Wettiner. Die Schönburger hatten 1307 für die Herrschaft Crimmitschau die Lehnshoheit der Wettiner anerkennen müssen. Die Burg diente als Verwaltungsmittelpunkt der Grundherrschaft. Unter den Schönburgern dienten auf der Burg einige Ministerialengeschlechter als Burgmannen:
von Orla (Freienorla im ehem. Herzogtum Sachsen-Altenburg)
1486 verwendete man erstmals den Namen Schweinsburg für die Burg. Schweinsburg und Crimmitschau kamen 1583 an die Herren von Einsiedel, welche sie 1606 verkauften.
1945 wurde das Rittergut enteignet und der Glockenturm (Turm der Unterburg) abgerissen. Seitdem ist die historisch wertvolle Glocke aus der Kapelle Harthau (heute Lauenhain) verschollen. Zwischen 1946 und 1989 diente das Schloss als Parteischule der KPD/SED, die Bausubstanz wurde dabei erheblich beeinträchtigt; unter anderem wurde die Hauskapelle in eine Turnhalle unter Verlust des historischen Altares umgebaut.
1998 wurde das Schloss renoviert und in der Unterburg ein Hotel eingerichtet. Aktueller Betreiber ist die GCH Hotel Group. Führungen werden nach telefonischer Anfrage durchgeführt.
Friedrich Emil Robert Meinhold: Zur Chronik des Schlosses Schweinsburg. In: Archiv für die Sächsische Geschichte, 2. Jahrgang 1864, S. 143 ff. (Digitalisat)
Reinhard Albrecht: Die Schönburger auf Schloß Crimmitschau. In: Schönburgische Geschichtsblätter, 3. Jahrgang, Heft 3.
Petri Albini: Annales der Stadt Crimmitschau in Schöttgen-Kreysig diplomatische und curieuse Nachlese der Historie von Ober-Sachsen, 10. Teil. Dresden / Leipzig 1733.
Leipold: Geschichte der ostdeutschen Kolonisation im Vogtland.
Walter Schlesinger: Burgen und Burgbezirke. In: Werner Emmerlich: Von Land und Kultur. 1937.
Reinhard Albrecht: Die Herrschaft Crimmitschau. In: Schönburgische Geschichtsblätter, III, S. 144 ff.
Harm Wiemann: Geschichte des Zisterzienser-Nonnenklosters Frankenhausen bei Crimmitschau. 1938.
Harm Wiemann: Geschichte des Augustiner-Klosters St. Martin und der Karthause. Crimmitschau Verlag Robert Raab, Crimmitschau 1941.
Manfred Richter: „Zur Geschichte des Schlosses Schlettau, Heft 2: Wegkastell und Besiedlung“, hrsg. von Dieter Rausendorff, Förderverein Schloss Schlettau e. V., 2009. (einige Anmerkungen zu den Reichsministerialen von Crimmitschau, die Gründer von Schlettau waren, und auf der Schweinsburg bei Crimmitschau saßen: ihre urkundlichen Nennungen, ihre Verwandtschaftsverhältnisse)