Auf der Gästeliste des Schlössle steht auch der Franzosenkaiser Napoleon. Am 14. Oktober 1805 galoppierte er – von Leibi kommend – ein, um vom Wintergarten in den oberen Stockwerken die Gefechtslage bei der Eroberung von Ulm zu beobachten. Im Folgenden machte er sich jedoch nicht sehr beliebt, da er ca. 3500 Bauern aus der Umgebung zur Zwangsarbeit heranzog.

Das Schlössle ist nunmehr seit mehr als 135 Jahren im Besitz der Familie Zoller. Georg Zoller (der I.) erwarb das Schlössle samt Braustatt im Alter von 25 Jahren im August des Jahres 1879. Nachdem er bereits mit 52 Jahren (1906) starb, ging der Betrieb zunächst an seine Ehefrau und anschließend an Georg Zoller (dem II.) und Ehefrau Lina Zoller.
 

Nach dem Kriege wurde im Jahre 1952 der Gartensaal von der nunmehr dritten Generation, dem Sohn Georg Zoller (dem III.) an der heutigen Stelle wieder aufgebaut. Nach dem Tode von Georg Zoller (dem III.) im Jahre 1988 übernahm seine Ehefrau Maria Zoller und die Kinder Christa und Werner Zoller dessen Anteil. Inzwischen führt also mit Christa und Werner Zoller die vierte Generation den Familienbetrieb und Maria Zoller wacht als Seniorchefin über das Ganze.

2003 durfte der alte kupferne Sudkessel aus dem Jahre 1920, in dem der Biersud noch mit Holzfeuerung zum Kochen gebracht wurde, endgültig in den verdienten Ruhestand. An seiner Statt, wenn auch an anderer Stelle, wurde ein modernerer Sudkessel angeschafft und die Brauerei auch in anderen Bereichen saniert. Die Befürchtungen der Stammgäste, dass das hauseigene „Biermanna“ dadurch seinen eigenständigen, äußerst leckeren Schlösslegeschmack verliert, wurden widerlegt. Kein einziger Gast merkte wirklich, ab wann der Übergang von altem zu neuem Kessel tatsächlich vollzogen war.

Im Jahre 2000 wurde der Schlössle Biergarten von den Leserinnen und Lesern der Südwest-Presse zum „beliebtesten Biergarten von Ulm und Neu-Ulm“ gekürt. Bei 8000 Einsendungen konnte das Schlössle mit über einem Viertel der Stimmen mit überzeugendem Abstand gewinnen. Den gleichen Wettbewerb gewann das Schlössle dann wieder im Jahre 2004 und 2006. Darüber hinaus konnte im Jahr 2012 in einem deutschlandweiten Wettbewerb sogar der 1.Preis entgegengenommen werden.

So war, ist und bleibt das Schlössle wohl ein bodenständiges „Wohlfühlgasthaus“ mit ausgezeichneten, hausgebrauten Spezialbieren, ein uriger Traditionsbetrieb mit gemütlicher Atmosphäre, den es hoffentlich in 50 Jahren noch gibt.