Iki XVIII a. vidurio Pastovys buvo nedidelė gyvenvietė su turgaus aikšte, iš kurios vedė prekybos keliai į Drują ir Medilą. Gyvenvietėje buvo katalikų, unitų bažnyčių, pranciškonų vienuolynas.
Pastovys ypač išaugo XVIII a. II pusėje valdant Lietuvos ūkio reformuotojui, LDK dvaro iždininkui Antanui Tyzenhauzui. Didikas tėvoninę valdą siekė paversti svarbiu kultūros ir pramonės centru, įkūrė manufaktūrų, tarp jų – popieriaus ir drobės. 1782–1785 m. Pastovyse veikė teatro mokykla, A. Tyzenhauzo perkelta iš Gardino. Jo iniciatyva miestelis perplanuotas pagal italų architekto Džiuzepės de Sako projektą. Suformuota erdvi Turgaus aikštė, aplink ją iškilo manufaktūrų darbininkų namai, raštinės ir teismo pastatai, gydytojo namas, užeiga, trys užvažiuojamieji namai. Iki mūsų dienų išliko 8 iš 22 A. Tyzenhauzo laikų pastatų. Viename jų, buvusiuose užvažiuojamuose namuose, dabar veikia Kraštotyros muziejus[4]. 1775 m. į Pastovis iš Ašmenos perkeltas pavieto teismas, 1780 m. atidaryta Vilniaus universitetui pavaldi mokykla.
Tyzenhauzų klasicistiniai rūmai ir parkas. Pagal italų architekto Džiuzepės de Sako projektą XVIII amžiaus II pusėje Antano Tyzenhauzo pradėti statyti rūmai galutinai pabaigti 1850 m. jo sūnėno, grafoKonstantino Tyzenhauzo rūpesčiu. Vilniaus krašto bajoraitė Gabrielė Giunterytė – Puzinienė apie savo dėdės K. Tyzenhauzo Pastovių rūmus XIX amžiaus I pusėje rašė: "jie turėjo kvadratinę formą ir iš pradžių buvo tik flygelis, bet jam iš šono buvo pristatytas privažiavimas su kolonada, žvelgiančia į miestelį. Iš didelio priebučio, iškloto marmuru, į kairę eina eilė kambarių su plafonais, puoštų gipsiniais lipdiniais ir marmuro židiniais, ant sienų ten kabojo geriausių meistrų paveikslai. Į dešinę ėjo salės, paverstos ornitologijos kabinetu, bet toji namo dalis, pašvęsta menui ir mokslui, buvo negyvenama ir tuščia. Dėdės šeima užėmė kitą, kuklesnę, rūmų pusę, prie kurios privažiuodavai iš kitos pusės pro vartus, tarsi mieste, į kiemą, kupiną judėjimo ir gyvybės, į kurį vedė trys priebučiai. Po kiemą vaikštinėjo povai ir gervės, ten suskrisdavo veisliniai balandžiai, o vižlai gulėdavo saulėje. Prieškambaryje laikrodis su sunkiais svarsčiais skambino ir murkė valandas, aplenkdamas pačią saulę. Toliau – trys ilgi kambariai vienas paskui kitą sudarė apartamentą. Pirmajame stovėjo ištraukiamas stalas, skirtas valgyti, kitame – biliardo stalas ir dėdės violončelė. Ant baltų sienų kabėjo gražios įstiklintos graviūros juodmedžio rėmuose, palei sienas stovėjo išrikiuoti baldai: raudonmedžio kanapa ir kieti krėslai, aptraukti juoda ašutine.[8] Dabar buvusiuose rūmuose veikia Pastovių rajono centrinė ligoninė.