Neben der Kirche St. Petrus und Paulus,einer der größten  Dorfkirchen Europas, erhebt sich das Obere Schloss. Zusammen mit dem Unteren Schloss bildet es ein ganz besonderes Ensemble. Hans IX., der mit seinem Schwager in der alten Burg " den Frieden nicht hat halten können" baute 1581 das Obere Schloss, nachdem die alte Burg für zwei Familien zu klein wurde. Dafür bat er den Bischof von Konstanz um die Überlassung einen Teils des Kirchplatzes. Hans IX. musste aber der Kirche an anderer Stelle so viel Platz geben wie er zum Bau seines Hauses benötigte. Die Jahreszahl der Erbauung ist in einen Sandstein in der Nordostecke gemeißelt.

Das Erdgeschoß besteht aus massiven Bruchsteinen, darüber erhebt sich ein schlichtes und beeindruckendes Eichen-fachwerk mit zwei Ober- und drei Dachgeschosse. Im Gebäude waren nach einer Beschreibung aus dem Jahre 1624 12 Räume eingerichtet. Dies waren die Rüstkammer, Silberstube, Junkerkammer, Eckstube, Gewölbe, Kinder-stube, Magdkammer, große Gaststube, Schreiberstube, oberes Stüble, Reiter und Hirtenkammer. Die Nebenge-bäude wurden im Jahre 1547 erbaut. Unter Karl Alexander von Rotenhan diente das Gebäude als Wohnung und Amtshaus des Amtsvogts. 1822 konnte die Gemeinde das Gebäude erwerben und richtete es als Verwaltungssitz und Schulhaus ein. 1919 wurde der Haupteingang verlegt und ein neues Treppenhaus sowie eine Toilettenanlage angebaut. 1975 zog die Polizei in das Gebäude ein. Wo sie bis 1994 blieb. Heute sind die Musikschule und die Katholische Bücherei im Oberen Schloss untergebracht. In einem Raum ist der "Volk‘sche Salon" aus dem Nachlass der Mazella Volk eingerichtet. Die komplett erhaltene Ausstattung ist ein Beispiel für die Blüte der Salonkultur zum Ende des 19. Jahrhunderts.