В середине XVIII века на «гребне венца» был построен скромный воеводский дом, к концу века не сохранившийся. В начале следующего века, когда выделили средства на строительство и покупку домов губернского назначения, губернатор Василий Сушков собирался разместиться в каменном (редкость для Симбирска того времени) двухэтажном доме коллежского асессора Василия Карамзина, старшего брата известного писателя. Но к моменту заселения глава региона сменился, и новый губернатор Сергей Хованский посчитал более подходящим для себя другое каменное здание, дом губернского предводителя дворянстваВасилия Бестужева. В дом Карамзина въехал вице-губернатор, а Хованский в 1805 году занял дом Бестужева. Оба здания были расширены губернским архитектором Михаилом Рушко[1]. Здание, вскоре прозванное местными жителями «дворцом», был богато облицовано натуральным камнем. На главном фасаде втором этажа, середину которого занимал металлический балкон, находилось 16 арочных окон. Одна из центральных улиц города, Дворцовая, получила своё название от губернаторского дома.
Во время пребывания в Симбирске, в губернаторском доме останавливались императоры: Александр I, Николай I, Александр II и Николай II. В 1833 году в доме у дальнего родственника своей жены губернатора Загряжского гостил Александр Пушкин. В следующем году секретарём Загряжского в здании работал Иван Гончаров. Николаю I, посетившему здание в 1836 году, оно показалось слишком скромным, и он приказал расширить его вглубь, в результате чего соседняя Николаевская церковь «вошла» в дом губернатора. В июне 1837 года Симбирск посетил знаменитый поэт и переводчик Василий Андреевич Жуковский, сопровождая будущего императора Александра II в качестве наставника, он остановился в Доме губернатора[2]. С 24 по 27 (12-15) июня 1863 года в губернаторском доме останавливался Великий князь, цесаревич Николай Александрович старший сын Александра II[3].
Во время пожара 19 августа 1864 года здание сгорело, остались только каменные стены. На восстановление потребовалось 6 лет и 40 000 рублей. На этот период губернатор занял дом Бычковой на углу Спасской и Покровской улиц.
В 1881 году у губернаторского дома были устроены площадка и проезд на Соборную площадь, обогатившие вид на здание.