La storia di Torre Orsaia ha inizio intorno alla metà del secolo undicesimo, all'epoca del condottiero normanno Roberto il Guiscardo, quando le incursioni dei pirati, la malaria e la distruzione di Policastro operata dallo stesso Guiscardo (1065) spinsero le popolazioni costiere a spostarsi verso zone più interne del territorio; venne così a costituirsi un primo centro abitato nella Terra Turris Ursajae. Il luogo su cui attualmente sorge Castel Ruggero, poi, considerato di grande importanza strategica già dai Longobardi, ospitò intorno al 1150 un accampamento di truppe di Ruggero II il Normanno (da cui il nome Castra Roggerii).
Nel 1301 monsignor Pagano, Vescovo di Policastro, deciso a far valere i propri diritti feudali sul territorio della Diocesi, ordinò la costruzione di una sede estiva dell'Episcopio a Torre Orsaia, ed emanò un bando nel quale prometteva, a tutti coloro i quali avessero voluto prendere dimora vicino al Palazzo Vescovile, terra a sufficienza per una casa, una vigna, un orto e un pagliaio, dietro pagamento di un'imposta detta pregata.
Come abbiamo detto, nel 1301 un nucleo abitativo, per quanto piccolo, esisteva già: il bando di monsignor Pagano e la redazione dei Capitula terre turris ursaye, un codice legale che regolava la convivenza civile e i rapporti della popolazione con il Vescovo-Barone, servirono unicamente a ratificare situazioni e usanze che si erano oramai consolidate nel corso di due secoli.
Lo statuto comunale di Torre Orsaia non menziona alcuna frazione. In base al 14º Censimento Generale della Popolazione e delle Abitazioni[6], le località abitate sono:
Calleo, 40 abitanti, 50 ms.l.m., abitato contiguo alla loc. Strazzari del comune di San Giovanni a Piro;