Die Ursprünge der Burg gehen auf den Gauvorort der Vandalen im 4. Jahrhundert zurück. Bei Einwanderung der Slawen siedelte der Teilstamm der Silinger noch dort. Im Jahre 990 wurde die zuvor zu Böhmen gehörende Burg von den Polen erobert. Der dabei von Monachus Sazavensis aus dem Kloster Sázava schriftlich belegte Ortsname „Nemzi“ stellt den ältesten überlieferten Ortsnamen in Schlesien dar. Das Wort „Nemzi“ (Stumme, Fremde, später für Deutsche verwendet) verweist auf die Ansiedlung der germanischen Silinger in diesem Gebiet.
Ab 1155 wurde sie als Kastellansburg genutzt, und 1288 wurde eine Schlosskapelle eingerichtet. Um 1295 erfolgte der Ausbau der Befestigungsanlagen, ein Wiederaufbau der Burg in steinerner Bauweise und die heute noch teilweise erhaltene Stadtmauer mit zwei Stadttoren. Nimptsch nahm damit eine Schlüsselstellung ein, da sie von weiteren Burgen (Groß Wilkau, Ellgut, Guhlau, Wättrisch) umgeben war. Im Jahre 1329 fielen Stadt und Burg Nimptsch unter die Lehenshoheit der Krone Böhmen.
In den Hussitenkriegen fiel die Burg in die Hände der Hussiten, die 1434 abzogen. Danach war die Burg völlig zerstört.
Im Jahre 1585 wurde die Burg durch den Brieger Herzog Georg II. unter der Oberbauleitung von Bernhard Niuron als Schloss im Stil der Renaissance wieder aufgebaut und erweitert. Ursprünglich waren die Wände mit Sgraffitoschmuck versehen. Als sogenannte „Hedwigsburg“ wurde das Schloss zur Residenz der Herzöge von Nimptsch umgebaut. Im Dreißigjährigen Krieg wurde die Stadt Nimptsch 1633 erst von Schweden und dann von den Truppen von Wallenstein und Torstensson eingenommen und niedergebrannt, das Schloss blieb erhalten. Ein Stadtbrand zerstörte im Jahre 1735 Teile des Schlosses, der Wiederaufbau erfolgte erst 1830 als schmuckloses Bauwerk, bei dem vom alten Schloss nur das aus der Renaissancezeit stammende Oktogon mit wertvoller Sgraffitoausgestaltung erhalten blieb. Danach wurde das Gebäude unterschiedlich genutzt, z. B. als Amtsgericht, Kirche und Heimatmuseum.
Im Jahre 1945 wurde Stadt und Schloss von der polnischen Verwaltung übernommen, danach verfielen die Gebäude, so dass 1964 das Oktogon des Schlosses abgerissen wurde. Die verbliebenen Teile des Schlosses wurden zu einer Fabrik umgebaut.
