O monumento é impropriamente designado como castelo, uma vez que consiste nos remanescentes de um troço da cerca urbana, o que caracteriza Seda como uma povoação fortificada.
O primitivo povoamento humano desta região remonta a época pré-histórica, de que são testemunho cerca de uma dezena e meia de antas ali identificadas. A presença romana na região é testemunhada pela ponte de Vila Formosa, erguida entre o século I e o século II, e marcos miliários de uma estrada.
Alguns autores admitem que a primitiva fortificação da povoação remonte a um castro dos Lusitanos, ocupado por tropas romanas que sobre ele teriam erguido uma fortificação, o que não se encontra comprovado.
D. João I (1385-1433) concedeu-lhe Carta de Foral (30 de Outubro de 1427), elevando-a a vila, privilégio renovado à época de D. Manuel I (1495-1521), que lhe concedeu o Foral Novo (1 de Outubro de 1510). A sua importância é atestada pelo fato de que em 1527 passou a sede de Concelho, sob a jurisdição da Ordem de Avis, privilégio extinto em 1836.
Os nossos dias
Chegaram até aos nossos dias um troço da muralha medieval, reforçado por cubelos, em precário estado de conservação. Esses vestígios encontram-se classificados como Imóvel de Interesse Público, por Decreto publicado em 26 de Fevereiro de 1982.
Características
O conjunto consistiu numa cerca urbana da qual subsistem troços de muralha em alvenaria de xisto à fiada, argamassada em cal, sem ameias, unindo três cubelos de planta circular, e os vestígios de um quarto. Estes vestígios encontram-se entre hortas e quintais das habitações da rua do Castelo, do lado Leste, e em uma encosta abrupta que já é propriedade agrícola praticamente devoluta.