En la cima de la peña Ayllón podemos contemplar los restos del castillo que dio nombre a la población. Sus orígenes se remontan a la época musulmana, si bien lo que podemos observar hoy en día pertenece a las construcciones realizadas durante los períodos románico y gótico.

Entre los restos destaca la gran torre románica. El muro del lado este se hundió y durante el proceso de restauración, a que está sometido desde hace años el monumento, se reconstruyó, tal y como se puede observar por la diferencia de color de los sillares.

La puerta de acceso está en el muro sur, a la altura del primer piso. La puerta que podemos encontrar a ras de suelo se ha realizado en época moderna, cuando se adecuó el edificio como centro de interpretación. Habitualmente la planta baja era destinada a almacén y sólo tenía acceso desde dentro de la edificación.

El interior de la torre se modificó durante el reinado de Pedro IV, siguiendo los cánones góticos. Así pues, se sustituyó la bóveda de la gran sala de la planta baja, que era de cañón, por una bóveda de crucería. También se reformaron las otras plantas, cambiando incluso su altura.

En el piso superior podemos ver algunas aperturas de medio punto, la mayoría de las cuales fueron cegadas. Probablemente permitían el acceso a un cadalso.

A pocos metros de esta torre se pueden ver los cimientos y parte de los muros de lo que podría ser otra torre de similares características.

Pero en tiempos de Pedro IV no sólo se reformó la torre románica, si no que se construyeron nuevas dependencias. De estas queda todavía en pie una torre octogonal y parte de una sala con bóveda de crucería adosada al muro norte. La torre está dividida en cuatro tramos visibles desde el exterior gracias a unas líneas de imposta. La sala gótica está en fase de reconstrucción, ya que sólo queda en pie el muro oeste y parte del sur.

Rodea el recinto un anillo de murallas, reforzado con alguna torre. Se conserva en buen estado, a pesar de que en muchos tramos ha perdido buena parte de su altura original.