Каштел је насељен још у праисторији. Након римских освајања на брежољку изнад долине реке Драгоње настаје утврда-каструм па зато и носи име Castrum Veneris, вероватно у вези са храмом посвећеним поганској божици. Друго мишљење о настанку тадашњег имена се односи на Castrum venae према линији брда на којем се налази насеље. Насеље до 1945. прати судбину Истре. Од 1945. је у општини Пиранско Бује у зони Б Слободне територије Трста до 1954. када припада Југославији. После распада Југославије 1991 постало је гранични прелаз између Словеније и Хрватске.
На попису становништва 2011. године, Каштел је имао 643 становника.
Према попису становништва из 2001. године у насељу Каштел живело је 516 становника[2] који су живели у 193 породична домаћинстава[3].
Кретање броја становника по пописима 1857—2001.[4]
година пописа
1857.
1869.
1880.
1890.
1900.
1910.
1921.
1931.
1948.
1953.
1961.
1971.
1981.
1991.
2001.
бр. становника
554
685
657
722
761
823
1369
1043
752
563
479
360
347
427
516
Напомена:У 1857, 1869, 1921. и 1931. садржи податке, а у 1880. део података за насеље Калданија. У 1857, 1869. и 1921. садржи податке, а у 1880. део података за насеље Света Марија на Красу, град Умаг. У 1921. и 1931. садржи податке за насеље Плованија.
.jpg)
