Im Jahr 1845 kaufte Gemeindeammann Ludwig Hungerbühler von Remigi Keller die Liegenschaft, die ganz in die Häuserzeile der Oberstadt integriert ist. Bis 1852 muss abermals eine Handänderung stattgefunden haben, denn in diesem Jahr erwarb Kupferschmid Karl Ehrat das Haus für Fr. 5'880.- von Gall Schmidweber. Ab 1856 erscheint das "Schwert" als Wirtschaft, mit Metzger Enoch Kradolfer als erstem Wirt. Dieser eröffnete am 13. November 1856 die Speisewirtschaft mit Metzgerei. Als er 1891 starb, übernahm sein Sohn Hermann den Betrieb. Völlig unerwartet starb dieser fünf Jahre später, mit erst 39 Jahren, so dass seine Witwe das "Schwert" führen musste. Ab 1899 hiess der neue Wirt Adolf Löscher, der gleichzeitig sein neues Möbel- und Bettwarengeschäft, verbunden mit einer eigenen Sattlerwerkstatt, dem Publikum empfahl. Wie die meisten Wirte jener Zeit, musste er ein Zweitgeschäft aufbauen, geriet aber trotzdem rasch in Konkurs.
Frischen Wind bracht Wirt Carl Haas aus Trogen, der bewirkte, dass das "Schwert" die Übernachtungserlaubnis erhielt und so aus dem Gasthaus eine Taverne wurde. Er holte auch 1901 die "weltberühmte und überall beliebte Kolossaldame Pauline Berg" nach Wil, die nicht weniger als 416 Pfund Lebendgewicht unter ihren überaus eleganten Kleidern verbarg.
Nun, die Zeit der Speisewirtschaft zum "Schwert" lief ab, als 1910 J. Friedrich Stell auf die Weiterführung der Wirtschaft verzichtete. Am 24. September 1910 wurde sie endgültig geschlossen. Einige Jahre blieben die Räume verlassen, bis 1920 durch eine Abstimmung die Liegenschaft an die politische Gemeinde Wil kam. 1939 war das Gebäude bereits derart baufällig, dass ein weiterer Urnengang über Renovation oder Abbruch entscheiden musste. Der Entscheid hiess Abbruch, und so wurde 1940 das ehemalige "Schwert" abgebrochen und als voll integrierter Teil des Rathauses wieder aufgebaut. Ein Gemälde von Karl Peterli mit St. Nikolaus und der Agatha ziert die Vorderfront an der Marktgasse. Die Schwertstiege als Verbindung von Oberstadt und Stadtweiher deutet heute noch darauf hin, dass an dieser Stelle gut 50 Jahre lang eine Wirtschaft bestanden hatte.
(Olbrich, Willi; Gastliches Wil, Wil 1989)