Die Bauinschrift am südöstlichen Eckpfosten belegt eine Errichtung des Hauses im Jahr 1558. Der um 1700 erstmals als Herberge erwähnte Gasthof zum Hirsch in direkter Nachbarschaft zum Auinger Tor zählte einst neben dem „Ochsen“ am Uracher Tor und der „Krone“ am kleinen Törle zu den bedeutendsten Gaststätten der Stadt. Nach dem Bau der Straße Münsingen-Ehingen wurde 1814 im Haus zusätzlich eine Poststation eingerichtet. Die Doppelnutzung des Gebäudes endete 1889 mit dem Umzug der Poststation in den kleinen Fruchtkasten im Schlosshof. Zuletzt in desolatem Zustand, konnte ein Abbruch der Gaststätte 1985 durch eine umfassende Sanierung abgewendet werden. Der Wirtshausausleger mit Posthorn und Hirsch wurde nach einer Originalvorlage angefertigt.
