Im Jahre 1706 kaufte Michael Bayer von der Herrschaft ein Grundstück im Schafgarten und errichtete darauf die Wirtschaft, eine Scheuer und Stallungen. Im gleichen Jahr erwarb er das Recht, eine Wirtschaft zu betreiben. Michael Bayer ist der Stammvater aller „Bayer“ in Neuhausen.

Johann Georg Bayer brach das Anwesen 1837 ab und errichtete ein neues Wirtschaftgebäude. 1881 erweiterte Karl Julius Bayer den Ochsen um einen Saalanbau. Nach fast 250 Jahren im Familienbesitz übernahm 1953 die Gemeinde das gesamte Anwesen. Im Jahre 1970 wurde das Fachwerk freigelegt und das Gebäude außen renoviert.

Damit wurde der Ochsen zu einem Schmuck-stück unserer Gemeinde.

Karl Thomas Bayer errichtete 1903 den Festsaal, der auch die Heimat des Männergesangvereins Eintracht wurde. Wegen seiner besonderen Architektur galt er als einer der schönsten Säle auf den Fildern.

Wechselvoll ist die Geschichte des Ochsensaals. Nach dem Beginn des zweiten Weltkriegs wurden fast alle Veranstaltungen im Saal eingestellt. Ab 1942 waren dann Fremdarbeiter für verschiedene kriegswichtige Betriebe untergebracht. Nach Kriegsende fanden Heimatvertriebene eine provisorische Bleibe im Saal. 1949 erfolgte der Umbau als Produktionsstätte der Firma Bleyle. Von 1978 bis 1986 diente der Saal als Lager und Produktionsraum für den Messebau der Firma Balluff. Im Jahre 1988 gelang es, nach einer aufwändigen Restaurierung, dem Saal sein ursprüngliches Aussehen zurückzugeben. 1991 konnte die öffentliche katholische Bücherei sowie die Musikschule dort ihre Arbeit aufnehmen. Nachdem diese beiden Institutionen 2011 ins renovierte obere Schloss umgezogen sind, wurde der Saal wieder seinem ursprünglichen Zweck als Festsaal zugeführt.