O castelo deve ter tido a sua primeira fase construtiva na segunda metade do século XII e é provável que tenha acusado a influência Templária, ordem que na altura criou, junto ao rio Tejo uma linha defensiva sem precedentes na arquitetura militar medieval portuguesa.

No século XIII, o castelo foi objeto de muitas reformas que se materializaram numa fortaleza gótica. D. Dinis doou a vila a sua mulher, D. Isabel de Aragão, passando a integrar o vasto património das rainhas portuguesas e, modernizou a fortificação com a construção da torre de menagem e de grande parte da cerca do castelo. Esta torre, ao contrário do que acontece com as suas congéneres do período gótico, encontra-se implantada ao centro do recinto, característica do período românico, adivinhando-se por isso poder ter sido uma reutilização de estrutura anterior. No século XV, em Abrantes como em muitos outras fortalezas, alguma da grande nobreza do reino, iniciou a transformação de antigos castelos em paços senhoriais e assim a zona ocidental das muralhas do castelo foi aproveitada para instalar o palácio dos Almeida (depois Condes de Abrantes). O Paço dos Almeida, foi mandando edificar por Diogo Fernandes de Almeida, alcaide-mor da vila e totalmente alterado no século XVIII. A construção barroca, erigida por iniciativa do 1º Marquês de Abrantes, D. Rodrigo Anes de Sá Almeida e Meneses, existem apenas as ruínas, mas percebe-se, pela longa arcaria simétrica de 11 vãos, ladeada por duas torres igualmente simétricas, tratar-se de um conjunto de grandeza. Diogo Fernandes de Almeida, foi rico-homem e a sua participação, na conquista de Ceuta, ao lado de D. João I fê-lo ali ser armado cavaleiro, a 25 de Agosto de 1415, pelo então Infante D. Duarte. Mais tarde, já como Rei, D. Duarte, tornou-o Alcaide-mor de Abrantes, de Punhete (atual Constância) da Amêndoa e Senhor do Sardoal. Foi, ainda, Vedor da Fazenda destes dois reis, como de D. Afonso V assim como Reposteiro-mor e membro do Conselho Real. Foi Pai de D. Lopo de Almeida, 1º Conde de Abrantes, Cavaleiro, diplomata, Vedor da Fazenda, membro do Conselho Real como também Alcaide-Mor de Abrantes, de Punhete e da Amêndoa, do Castelo de Torres Novas, Senhor do Sardoal e de Mação. Foi, ainda, Mordomo-mor, Contador-mor, Chanceler-mor, Escrivão da Puridade e Governador das terras da rainha Dona Joana, Infanta de Leão e Castela e mulher de D. Afonso V.