Pedro IV de Aragón hizo fortificar la villa y construir un castillo en la parte noroeste de la población durante la Guerra de los Dos Pedros. Pedro I de Castilla conquistó Bijuesca en 1358. Posteriormente fue reconquistado por Aragón, pero en 1362 se volvió a perder a manos castellanas. Para evitar volver a perderlo, Pedro IV ordenó destruirlo una vez reconquistado. Por suerte sólo se ejecutó la orden parcialmente.

Está formado por tres recintos de murallas. El superior tiene la planta rectangular de casi 40 metros de largo y es el que mejor se ha conservado.

Todavía podemos ver parte de sus muros rematados por almenas y saeteras.

En este sector podemos ver una de las torres, que en el pasado defendía el castillo.

Tiene planta rectangular y tres plantas de altura. En la superior podemos ver las ménsulas donde se apoyaba un matacán, encargado de defender la puerta de acceso, situada en la parte baja de la torre. Esta entrada era en forma de codo, para dificultar la entrada de tropas enemigas, una forma muy habitual en fortificaciones musulmanas. Esto ha hecho situar sus orígenes en el siglo XI por parte de algunos estudiosos, hipótesis no contrastada hasta ahora, pues no se ha realizado ningún estudio arqueológico.

Desgraciadamente, el sector norte, situado en la parte más alta de un acantilado, ha desaparecido casi en su totalidad.

En uno de los lados se conserva lo que parece ser parte de otra torre.

El segundo recinto tiene una planta ovalada con casi setenta metros de longitud en el eje mayor. Sus muros apenas se han conservado o bien han perdido gran parte de su altura.

El acceso a este segundo recinto está situado junto a la iglesia del castillo, pero separado por un pequeño foso.

Del recinto inferior sólo se conservan algunos fragmentos aislados de muros situados en el sector suroeste.

Dentro de este recinto encontramos la iglesia dedicada a la Virgen del Castillo, que aprovechó parte de la segunda muralla.

Tiene una sola nave, sin crucero y con cabecera plana, modificada posteriormente y en la que se ven restos de la muralla.

A los pies de la nave se levanta la torre campanario, de planta cuadrada, que tiene una apariencia de torre defensiva, por que en 1357 se fortificó el templo.