Kaupunki on tunnettu ainakin 1600-luvulta, jolloin se oli Preussin herttuakunnan osa. Kolmikymmenvuotisen sodan aikana sen valtasivat ruotsalaiset Kustaa II Aadolfin armeijan noustessa siellä maihin toukokuussa 1626. Altmarkin rauhan (1629) jälkeen ruotsalaiset luopuivat kaupungista. Se sai saksalaiset kaupunginoikeudet vuonna 1725.
Ennen ensimmäistä maailmansotaa kaupungista tehtiin linnoitus. Sen erinomaisen sijainnin vuoksi vuonna 1904 rakennettiin kanava Pillausta Königsbergiin (nyk. Kaliningrad). Toisen maailmansodan aikana Pillau oli sukellusveneiden miehistöjen koulutuskeskus. Toisen maailmansodan jälkeen Itä-Preussin pohjoisosat liitettiin Neuvostoliittoon, jolloin satamasta laivattiin 450 000 pakolaista Saksaan. Baltijsk oli pitkään suljettu kaupunki, jonne ulkomaalaisilla ei ollut pääsyä.