En este lugar había una iglesia visigoda que el pueblo árabe sustituyó por un castillo. Los almorávides lo destruyeron y los templarios lo restauraron cuando se le cedió Alfonso VIII.

Don Pedro Tenorio, arzobispo de Toledo, fue quien le dió el actual aspecto en su restauración del siglo XIV, siendo una de la mejores obras de arquitectura militar mudejar de España. Fue declarado monumento en el año 1874.

Es de planta rectangular con pequeñas torres cilindricas en sus ángulos y destancan en la puerta principal una torre cuadrada y en la parte posterior la torre del homenaje.

Se encuentra situado en la afuras de la ciudad y se acedea el por el puente de Alcántara.