Im Jahre 1823 noch als "Steinerwirt" bezeichnet, dessen Familie schon 1550-1837 dort ansässig war.
1793 wird zwar Matthias Steiner hin und wieder als "Hirschwirt" betitelt, doch erst nach 1834 bürgerte sich die Bezeichnung "Hirschwirt" ein. Schon vor dem Jahre 1424 als Kobold's Hut bezeichnet "die Flur in der Furch und die große Baind" sind heute noch besondere Kennzeichnen dieses Gutes.
Im Jahre 1424 war das Gut schon zertrümmert und wurde schon vergeben. Das Nesselwängische Hofstätten Verzeichnis vom 13.03.1550 nennt auf diesen Hofstatt den Christian Steiner. Es folgt sein Sohn Martin Steiner, dann dessen Sohn Christian Steiner, genannt als Wirt und Brauer, verheiratet mit Katharina Huber, 1616, ihr zweiter Ehemann Martin Seibold, auch Bierbrauer. Um 1630 war Hans Steiner, ein Sohn von Martin Steiner und Bruder von Christian Steiner der Pächter. Ab 1635 übernahm sein Sohn Georg Steiner den Gasthof und ab 1674 dessen Sohn Peter Steiner. Die Reihenfolge der Wirte ab 1713:
| 1713 | Johann Steiner |
| 1758 | Johann Georg Steiner (Sohn von Johann Steiner) |
| 1793 | Matthias Steiner (2. Sohn von Johann Steiner) |
| 1834 | Franz Steiner |
| 1837 | Tausch mit dem Adlerwirt Franz Wagner |
| 1842 | Verkauf des Hofes durch Witwe von Franz Wagner an Bruder Josef Wagner |
| 1864 | Übernahme durch dessen Sohn Johann Martin Wagner |
| 1901 | Übernahme durch dessen Tochter Viktoria Wagner, die Ihren Cousin Otto Wagner ehelichte |
| 1902 | Brandstiftung |
| 1911 | Nochmaliger Brand im Gasthof zum Hirsch |
| 1929 | Friedrich Wagner führt den Hof |
| 1930 | Verpachtung des Hofes durch Friedrich Wagner |
| 1952 | Übernahme des Hofes durch die Brauerei "Bayerischer Hof" aus Kempten - Weiterverpachtung |
| 1970 | Schließung des Gasthofes durch die Brauerei |
| 1973 | Übernahme und Ausbau des Hofes durch die Familie Besserer - Landwirt aus Grundreute |
| 1976 | Einbau einer Kegelbahn und eines großen Nebenzimmers |