Die trotz aller zwischenzeitlichen Umbauten im Wesentlichen immer noch mittelalterliche Architektur wurde 1891 ersetzt. Das Hôtel Oberpollinger im Stil des Spätklassizismus übernahm den Namen der Brauerei und überspannte die ehemals vier Grundstücke. Das Hotel war nicht erfolgreich. Es wurde 1899, 1901 und 1903 verkauft und geriet Ende 1903 in die Zwangsversteigerung. Dabei erwarb das Hamburger Warenhausunternehmen M. J. Emden Söhne das Grundstück und ließ das Gebäude abbrechen. Die Stadt legte Wert darauf, die westlich angrenzende Herzog-Max-Straße zu verbreitern. Dazu kaufte das Unternehmen auch die beiden östlich angrenzenden mittelalterlichen Bauten hinzu. Weil es im Westen einen Anteil als Straßenraum der Stadt überließ, bekam es das Recht, die ehemals sechs Grundstücke zusammenzufassen und durchgehend mit einem Warenhaus zu bebauen.