Esta fortificação da raia, defendia aquele ponto de travessia sobre a margem direita da foz do rio Guadiana, fronteiro ao Castelo de Ayamonte na margem oposta. A sua conquista deu-se sob o comando do Mestre da Ordem de Santiago, D. Paio Peres Correia. A partir de então, a coroa promoveu o repovoamento do Algarve, a cargo das Ordens Militares. É um dos mais significativos monumentos da Idade Média portuguesa na região.

Em posição dominante o castelo medieval apresenta planta quadrangular irregular, com quatro cubelos cilíndricos nos vértices dos muros, percorrido por adarve, onde se rasgam duas portas, uma a norte e outra a sul, uma das quais encimada por pedra de armas. No decorrer da reconquista, em 1230 D. Sancho II alcançou a foz do rio Guadiana onde conquistou Mértola e Ayamonte seguido de Castro Marim. Em 1279, já no reinado de D. Dinis, foi iniciada a sua reconstrução já que, com o Tratado de Alcanizes, Portugal desistiu dos domínios de Aroche, Ayamonte, Aracena em troca de Campo Maior, Olivença. Por Bula do Papa João XXI em 1319, com a extinção da Ordem dos Templários, Castro Marim foi doada à Ordem de Cristo que, entre 1319 e 1356, ali estabeleceu a sua primeira sede tendo aqui vivido o seu Mestre, o Infante D. Henrique. Com D. Manuel I no âmbito da reestruturação das diferentes fortificações levada a cabo por todo o País, Castro Marim vê as suas defesas reforçadas. Com a Guerra da Restauração sofreu obras de adaptação linhas abaluartadas que viriam apenas a terminar já no reinado de D. Afonso VI e complementadas pelo Forte de São Sebastião de Castro Marim e pelo Forte de Santo António de Castro Marim. Durante o terramoto de 1755 o núcleo medieval da vila sofreu extensos danos levando à necessidade de recuperação da defesa desta vila. Encontra-se integrado na Reserva Natural do Sapal de Castro Marim e Vila Real de Santo António.