Перший представник роду Кастріоті згадується в Албанії в історичних документах у 1368 році у званні кефала або каштеляна в замку Каніна[en], який входив до складу Валонського князівства. Югославський історикІван Божич припускав, що батько Пала отримав маєток в Албанії від сербського царя Стефана Душана після того, як він захопив Берат, Валону і Каніну у 1345 році. Існує припущення, що прадід Скандербега був сербського походження. Австрійський історикГенріх Кречмер[en] (фахівець з історії Венеції) стверджував, що Пал Кастріоті, батько Гьона і діда Скандербега, був кефалом у замку Каніна.
Пал Кастріоті мав трьох синів: Костянтин, Олексій і Гьон Кастріоті. Олексій Кастріоті володів трьома селами, Костянтин був протовестіарієм у Синьо (Серін) біля Дурреса. Згідно венеційському документу, виявленому Карломом Хопфом, Пал Кастріоті носив титул пан Серуджі (домінус Серіни).
Наприкінці 14 століття Пал Кастріоті носив назву «сеньйор де Сігна і де Гарді-іпостесі» (Сіна і Нижньої Гарді), він володів цими двома селами. Згідно з деякими джерелами, його маєтки були розташовані на горі Qidhna, на північний захід від Дебара . Близько 1383 року Пал Кастріоті отримав у власність два села в феод від Балши II, правителя Зети . З ослабленням роду Балшичів, рід Кастріоті став посилюватися. Гьон Кастріоті зміг розширити домен роду Кастріоті і захопив область Мати . Після смерті Гьона Кастріоті його доля увійшла до складу османських володінь і була відома в османському реєстрі як «іль Ювана». Одна частина спадку Гьона Кастріоті, що складалася з дев'яти сіл, спочатку стала тімаромСкандербега, а в 1438 році була надана Андре Карло.
