Foi construído em meados do século XVI por D. Rodrigo ou Rui Fernandes de Almada, cônsul de Portugal na Flandres, durante o reinado de D. Manuel. O edifício possui uma planta de forma rectangular e as fachadas apresentam três pisos. Os 2 últimos pisos possuem janelas de sacada que deitariam sobre o rio. Para aceder ao interior passa-se por uma porta monumental que comunica com um túnel coberto por abóbada de arestas sobre pilastras. Existe um recinto interior que é elevado, acessível através de dois lances de escadas. O piso térreo possui elementos renascentistas.
No acesso aos pisos superiores podem observar-se vários vestígios de pintura mural da segunda metade do século XVIII. Os pisos superiores foram alterados por várias intervenções, as mais importantes pertencentes ao período barroco. O edifício sofreu algumas alterações após o terramoto de 1755.
A partir de finais do século XIX o monumento começa a degradar-se. O antigo jardim era acedido por uma rampa e por uma passagem forrada com azulejos do século XVI, foi transformado em garagem. Um dos pisos é sede do Atlético Casa Pia
A Biblioteca-Museu Luz Soriano funcionou no local, de 1939 a 2005.
