Pilis metraščiuose minima nuo 1293 m., kai nedidelėje saloje (170X122 m) Suomijos įlankoje iškilo, švedų statyta, aukščiausia Skandinavijoje tvirtovė. Sala, uolėta krantinė, gamtinės sąlygos, puiki strateginė padėtis ilgiems amžiams padarė pilį neprieinamą priešams. Daug kartų Novgorodo ir Maskvos kunigaikščiai Ivanas III ir Ivanas IV bandė atsikovoti šias žemes iš švedų, bet visi jų žygiai baigdavosi nesėkme.
Ši tvirtovė−miestas išliko švedų ekspansijos Karelijoje atrama iki 1710 m., kai ją, beveik visiškai sugriovęs, užėmė Petras I.
Per ilgus amžius pilis buvo ne kartą rekonstruota.
1917 metais Suomijai paskelbus nepriklausomybę, Vyborgas atiteko Suomijai ir iki 1939 m. išgarsėjo kaip kultūrinė Suomijos sostinė bei prašmatnus vasaros kurortas.
II pasaulinio karo metais pilis nukentėjo nestipriai. 1964 m. TSRS Gynybos ministerija perdavė pilį muziejaus įkūrimui. 1970 m. po ilgų archeologinių darbų muziejus buvo atidarytas. Nuo 2000 m. muziejus vadinamas Valstybiniu muziejumi „Vyborgo pilis“.