Прежний, старый дом генерал-губернатора не был ничем примечателен, и потому новый губернатор Густав Христианович Гасфорт(1794-1874 гг.) решил поставить себе новый дворец, соответствуюший его положению. Дом строился в 1859-62 годах, имел сад, оранжерею, конюшню, сарай. Работами руководили Ф.Фарнер и К.Лазарев. "Дом губернатора" был настолько красив, что в обиходе закрепилось за ним наздвание "Дворец", которое бытует и поныне. После буржуазной революции дом губернатора стал Домом республики. А потом и Домом свободы. А после провозглашения адмирала Колчака Верховным правителем России, здесь разместился его Совет министров. После захвата Красной Армией города, здесь разместился штаб М.Н.Тухачевского. Но в 1923 году 18 апреля по решению ХХХисполкома дворец был передан музею. И сегодня в нашем музее одна из богатейших коллекций предметов национального и мирового искусства.