La primera construcción data del siglo X y se realizó por orden de Alfonso III para favorecer la repoblación de la ciudad. Posteriormente se fueron modificando sus defensas para adecuarlas a las nuevas técnicas de guerra. Los muros y torres eran mucho más grandes y estaban rematados por almenas. La torre del homenaje, que se encontraba al centro del recinto, fue demolida en el siglo XIX. También fue cubierto el foso que rodeaba el alcázar y se demolieron las murallas que lo conectaban con el puente romano-románico. En el siglo XVIII dejó de cumplir funciones defensivas. Desde entonces se ha utilizado como prisión, matadero y en la actualidad como ambulatorio.