Na místě, kde dnes zámek stojí, bývala původně gotická vodní tvrz vrchlabských zemanů. Vrchlabské panství získal koupí od Jana Tetaura z Tetova roku 1533 korutanský důlní odborník a královský rada Kryštof z Gendorfu za 1750 kop českých grošů. V těsné blízkosti tvrze zahájil práce na stavbě nového sídla v renesančním slohu podle sasko-slezského vzoru.[1] Hlavní stavební práce proběhly v letech 1546-1548 a zámek byl pravděpodobně dostaven ještě za Kryštofova života. Po jeho dokončení sloužila stará tvrz jen k hospodářským účelům. Zámek patří k nejranějším světským renesančním stavbám v Čechách. V té době kolem zámku zůstal stále ještě zachován dvanáct metrů široký vodní příkop s třemi padacími mosty. Budova zámku byla třípatrová obdélníkového půdorysu se čtyřmi nárožním osmihrannými věžemi. Mezi budovami nebyl dvůr, ale uprostřed byla vestavěna velká síň s klenbou a lunetami.
Za dalších více než 400 let od svého postavení prošel zámek mnohými stavebními změnami a úpravami, měnili se jeho majitelé.
Z původního renesančního vybavení zámku zůstala pouze renesanční kachlová kamna.
Stavební vývoj
Stavba zámku byla dokončena pravděpodobně v roce 1546 ještě za života Kryštofa z Gendorfu. Zámek byl nákladně vybaven, ale z původního vybavení zbyla jen nádherná renesanční kamna z roku 1545 (původně umístěná v zámecké knihovně) se znakem lehnického a břežského vévody Bedřicha II. zdobená barevnými fajánsovými kachly s biblickými výjevy. Kamna vysoká přes 3,5 metru zdobí dnes zasedací síň.
Kryštof z Gendorfu postoupil vrchlabské panství v roce 1561 (zemřel roku 1563) se svolením krále své dceři Eustachii, vdově po kancléři Lehnického knížectví Wolfovi Bokovi z Hermsdorfu. Po její smrti vrchlabské panství připadlo třem jejím dcerám Barboře (provdané za Oldřicha Míčana z Klinštejna), Kateřině, jejímž manželem byl Jan Markvart z Hrádku, a Rozině, provdané za Viléma Miřkovského ze Stropčic.
V roce 1575 zámek zasáhl požár, který zničil horní prostory; zámek byl jen provizorně opraven. Pravděpodobně koncem 16. století došlo k opětnému sloučení celého panství do rukou vdovy Roziny a jejího syna Viléma Miřkovského ze Stropčic. V letech 1605-1614 byly dokončeny stavební úpravy a odstraněny škody vzniklé požárem, zámek byl rozšířen a získal dnešní podobu. Na dostavbě zámku se podílel pravděpodobně Ital Carlo Valmadi.[2]
Albrecht z Valdštejna ve snaze scelit své panství přinutil v roce 1624 Viléma Miřkovského, aby mu vrchlabské panství prodal včetně zámku, dvou městeček, sedmi vesnic, dvou dvorů, hutí, hamrů a dolů. Protože však nezaplatil smluvenou částku 110 000 míšeňských kop, mělo panství zůstat ve Vilémově držbě až do úplného zaplacení.[3] Vilém brzy zemřel a panství přešlo v roce 1628 jako frýdlantské léno. Ve vrchlabských železárnách se vyráběla výzbroj pro valdštejnská vojska. Tři dcery Viléma Miřkovského odškodnil Valdštejn alespoň částečně jinými manskými statky v podhůří.
Po zavraždění Albrechta z Valdštejna v roce 1634 připadlo panství královské komoře a ta je postoupila v roce 1635 za vojenské zásluhy a finanční výpomoc nejvyššímu polnímu vachtmistroviRudolfovi z Morzina. Jím do Vrchlabí přichází nový šlechtický rod Morzinů. Po jeho smrti panství připadlo jeho bratrovi Pavlovi, za jeho vlády byla pozměněna dispozice zámku a roku 1684 vestavěna zámecká kaple. Mnohé pokoje byly vyzdobeny štukovou výzdobu a štukovanou klenbou. Pavel z Morzinu panství rozšířil a vytvořil z něho rodinný fideikomis. Pavel z Morzina v roce 1688 zemřel a zámek a panství přešlo na jeho syna Jana Rudolfa a vnuka Maxmiliána († 1706) a jeho mladšího bratra Václava († 1737). Po jeho smrti panství připadlo synovi Václava Karlovi Josefovi († 1741) a po něm jeho synu Františkovi.
Františkem († 1791) vymřela starší větev Morzinů a ve Vrchlabí se usadila mladší větev rodu Rudolf Ferdinand Dezider a jeho syn Rudolf (do roku 1817). Za těchto majitelů došlo k novým vnějším i vnitřním přestavbám. Byl odstraněn starý portál se jménem zakladatele zámku Kryštofa z Gendorfu a původní třípatrový zámek přebudován na dvoupatrový. Zůstaly zachovány hranolovité čtyři nárožní věže a opatřeny cibulovými báněmi s lucernami, odstraněny hradby a zasypány příkopy.
V roce 1830 byly kolem zámku postaveny byty úředníků, vypuštěn zámecký rybník a založena okrasná zahrada a navazující přírodně krajinářský park s umělými jezírky a cizokrajnými dřevinami. Zámeckým parkem dnes vede vyznačená naučná stezka.
Rudolfem Morzinem v roce 1881 rod Morzinů vymřel. Jediná dcera Aloisie, dědička velkostatků Vrchlabí a Horního Maršova se provdala za Heřmana Černína z Chudenic a tomuto rodu patřil zámek až do roku 1938. Za Černínů došlo k další přestavbě podle projektu Josefa Schulze, který roku 1890 navrhl neorenesnční vstupní portik u hlavního vchodu s balkónem v patře; nárožní věže byly zvýšeny o jedno patro. Po Aloisii Černínové, rozené Morzinové, se majitelem velkostatku a zámku stal syn Rudolf (1855–1927), který se psal Czernin-Morzin. Jeho dědicové prodali zámek za druhé světové války německým státním úřadům.