Von 1450 bis 1800 war die Hirschbrauerei herrschaftliches Brauhaus und gehörte zur Wernerschen Hälfte des Rittergutes der Herren von Neuhausen.

Die Hirschbrauerei braute auf eigene Rechnung und schenkte das Bier in der angeschlossenen Wirtschaft aus. Ab dem 17. Jhd. belieferte die Brauerei auch die umliegenden württembergischen Ortschaften.

1650 ist als Besitzer der Wirtschaft Andreas Eisele erwähnt. Bis 1800 war sie im Besitz der Familie Eisele. 1846 erwarb der aus Wernau zugezogene Bierbrauer David Baumann Wirtschaft und Brauerei. Er erbaute ein neues Brauhaus und den oberen Bierkeller in der Kirchstraße. Weitere Besitzer waren Konstantin Kail und sein Sohn Karl Theodor. 1910 kaufte der Bierbauer Melchior Merz den "Hirsch" und übergab ihn später seinem Schwiegersohn Anton Schaller. Das Erbauungsdatum des heutigen Hauses ist unbekannt. Die heute noch vorhandene Inneneinrichtung stammt aus dem Jahr 1945, eingebaut von der damaligen Besitzerin Theresia Schaller. Heutiger Besitzer ist Familie Bihr. Sie betreibt den "Hirsch" als Hotel.