Die erste Information über das Bestehen des Hofes in Brunau stammt aus dem 15. Jahrhundert. Möglicherweise war das ein Festungsbau, dessen Gestalt den in der Umgebung erhaltenen Wohntürme ähnelte. In dieser Zeit gehörte der Hof dem bekannten und reichen schlesischen Adelsgeschlecht von Zedlitz.

In den Jahren 1740 - 1750 wurde Graf Bernhard von Schmettau zum neuen Besitzer von Brunau. Dank ihm wurde der alte Hof umgebaut, so dass dieses Gebäude in ein kleines Barockschloss mit zwei Etagen umgewandelt wurde. Das Schloss ist quadratförmig gebaut worden.

37 Jahre später wurden Christoph Heinrich und Ernest von Schweidnitz Besitzer von Brunau. Drei Wochen nach dem Kauf dieses Anwesens brach ein Brand aus, bei dem alle Gebäude nieder brannten. Auf den Ruinen erbauten von Schweinitz eine neue zweistöckige Residenz im neobarocken Stil. Der Bau wurde durch zwei schlesische Architekten, Mohrenberg und Scholtz, durchgeführt.

Der nächste Schlossbesitzer war die Familie von Cottenet, die den Ausbau der Schlossanlage im damals typischen historischen Stil des 19. Jahrhunderts zügig begonnen hat. Aus dieser Zeit stammt der Stahl und das Wagenhaus, der Wasserfall beim Schloss sowie der Garten, der von Eduard Petzold gestaltet wurde. Am oberen Fassadenteil des Kutschenhauses, neben den Eingangstor, wurde das Wappen der Familie von Cottenet eingesetzt.

Der weitere Umbau wurde in den Jahren 1900 - 1901 begonnen. Damals entstand der südliche Schlossflügel zusammen mit der Orangerie und dem achteckigen Turm.

In den 1930er Jahren wurde eine Sportschule der Hitlerjugend eingerichtet.

Unmittelbar nach dem Ende des Zweiten Weltkrieges wurde das Schloss allmählich verwüstet.