I mange år lå Københavns Museum på Vesterbrogade. Nok ikke så mange gik ind på det, men enhver københavner kendte både den lille modelby i forhaven og den såkaldte museumsgade i Absalonsgade ved siden af, hvor man både kunne se gamle gaslygtepæle og gamle plakatsøjler.
De færreste tænkte nok over, at det fine lille palæ, som altså husede Københavns Museum, nok sådan cirka er Vesterbros ældste endnu eksisterende bygning. Den blev i tegnet af Johan Henrich Brandemann i 1782 og opført mellem 1786 og 1787. Palæet blev opført af Det Kongelige Kjøbenhavnske Skydeselskab og Danske Broderskab – en selskabelig forening, hvis historie går tilbage til middelalderen.