In einer Bauzeit von knapp vier Jahren wurde der Neubau nach Entwürfen von Georg Baumeister errichtet. Das Haus war technologisch, was Hochwasser-, Brandschutz, Heizung und Konstruktionsdetails betraf, auf dem neuesten Stand. 1905 übersiedelten die Sammlungen in den Historismusbau am Kornmarkt in Bregenz und waren dort ab dem 9. Juni öffentlich zugänglich.
Das Gebäude wurde zwar auf Zuwachs der Sammlung konzipiert, doch bald wurde deutlich, dass die rasch wachsenden Bestände zusätzlichen Platz benötigen würden.

Bereits in den 1930er Jahren klagte man erneut über Platzmangel. Mit dem umfassenden Umbau wurde aber erst Mitte der 50er Jahre begonnen. Dabei wurde ein Geschoss aufgestockt und der historistische Fassadenschmuck entfernt. 1960 stand das neugestaltete Museum dem Publikum wieder offen.
Auf die Zeit der großen Umbauten folgten fünfzig Jahre, in denen kaum Investitionen vorgenommen wurden und die Kluft zwischen den museologischen Anforderungen an das Gebäude und der baulichen Realität immer stärker aufklaffte. Die Schere zwischen einem alternden Haus und den in den letzten Jahrzehnten massiv gesteigerten Besuchererwartungen wurde immer größer.
