Als Wilhelm IV. und Georg V im Jahre 1561 Güter austauschten, erklärte Wilhelm, er behalte sich vor, eine eigene Behausung zu bauen. Bald darauf dürfte er den Bau begonnen und im Jahre 1567 beendet haben. An der Stelle des Schlosses  stand zuvor eine alte baufällige Scheuer, die zum Felleisenhof

oder Herrenhof gehört hatte. Dass das Baujahr zwischen 1560 und 1570 liegt, bekundeten im Jahre 1617 vier Zeugen in Innsbruck. Noch im Jahre 1654 bezeugte der hiesige Maurer Georg Keller: „Mein Großvater Jerg Keller hat mir erzählt, auf dem Platz sei in seiner Jugendzeit eine Scheuer mit drei Tennen gestanden, er selbst habe mitgeholfen, die Scheuer abzubrechen und den Bauplatz einzuebnen.“ Wir dürfen also Wohl mit Recht am Baujahr 1567 festhalten. Das neue Schloss ist ein mächtiger  Renaissancebau. Wenn es auch im Gegensatz zu den prunkvollen "Schlössern des  16. Jahrhunderts auf überladenen Schmuck verzichtet, so zeigt es doch einen eindrucksvollen Baukörper, der einstens die Macht und das Ansehen des adeligen Geschlechtes würdevoll verkündete. Schön gegliedert ist vor allem der Ostgiebel, Während der Westgiebel auf Schmuck und Gliederung verzichtet. Man hat aus diesem Mangel wiederholt geschlossen,

dass Wilhelm IV. und seine Nachkommen geplant hätten, den „unvollendeten Bau“ später zu Ende zu führen. Dies ist durchaus wahrscheinlich, aber nicht erwiesen. 

Nachdem die Gemeinde das Schloss im Jahre 1843 gekauft hatte, baute sie die  Räume für die Zwecke der Verwaltung und als Dienstwohnungen der Lehrer um. Die ursprüngliche Gliederung ist deshalb nicht mehr leicht zu erkennen. Nur der Rittersaal zu ebener Erde zeigt noch das alte Bild. Seine spitzbogenförmig aufgewölbte Decke ist durch starke Rippen gestützt, die auf runden Pfeilern ruhen. Dieser  prunkvolle Rittersaal befriedigte das Bedürfnis nach Geltung und Standeswürde in vollem Maße. Nach einer Überlieferung soll das Obere und das Untere Schloss durch einen 120m langen unterirdischen Tunnel verbunden gewesen sein der seinen Zweck in kriegerischen Zeiten erfüllen sollten. Das Vorhandensein dieses Ganges hatte sich zwar bis jetzt noch nie erwiesen. Man stütze sich bisher nur auf mündlichen Überlieferungen, die mit wunderlichen Sagen umwoben waren. Bei der vor Jahren vorgenommenen Kanalisation  des Schlossplatzes hoffte man, bei einer Tiefe von 3 m auf den Gang zu  kommen, doch auch hier ergaben sich keine Spuren.  Erst bei der Renovierung des Unteren Schlosses stießen Gipser durch einen Zufall auf die gutgetarnte Mündung des längst gesuchten Ganges. Nach der Beseitigung des Verputzes an der Südwestecke fanden die Handwerker eine verdächtige Öffnung, welche unterhalb der Mauer im Boden in einen Gang führte. Eine Begehung war infolge Einsturzgefahr nicht möglich, der Gang  konnte nur mit Stangen abgetastet werden, wobei festgestellt wurde, dass Deckenteile schon ausgebrochen waren.

Textauzüge:Willi Fay: „Neuhausen auf den Fildern“
Eugen Efinger: „Heimatbuch von Neuhausen auf den Fildern“