Los orígenes de esta fortificación se remontan a la época de dominación islámica, cuando era conocido como Ibn Awar. Se trataba de un lugar estratégico y por lo tanto de fuertes disputas entre el reino de Aragón y las tropas islámicas. El rey aragonés Ramiro I conquistó la fortificación en 1058 y ordenó la construcción de nuevas dependencias y defensas para garantizar la seguridad de la frontera, todavía inestable.

De esta época son las murallas perimetrales que defienden la montaña y que son de sección rectangular.

Desaparecido el enemigo islámico, el castillo siguió desarrollando un papel importante en la defensa de la frontera, en este caso contra los condados catalanes, hasta la unificación de las dos coronas.

El castillo pasa a ser residencia condal y se construye una iglesia románica en su interior. Algunas de sus piedras se reutilizaron en el siglo XIV para construir el nuevo templo gótico.

Entre ellas, destaca un sillar dónde, pese a la erosión, todavía se pueden ver algunos elementos esculpidos, que los estudiosos relacionan con un signo del zodiaco.

También se pueden ver sillares con marcas de cantero o con un texto grabado.

El rey Jaume II restauró el condado de Ribagorza, otorgándolo a su hijo el Infante Pere. La sede del condado se situó en Benabarre. Es en este momento que se construye el gran templo dedicado a Santa María. El condado existió hasta 1596, cuando fue abolido e incorporado a la corona por orden de Felipe II.

El templo que podemos observar hoy en día es sólo el último tramo de la antigua iglesia, que correspondía a los pies de la nave.

Por los restos encontrados durante las diferentes campañas de excavación arqueológica, se puede afirmar que el templo tenía tres tramos más y una cabecera poligonal, bajo la cual había una cripta cuadrada.

En la parte del templo que ha sobrevivido, podemos observar dos capillas excavadas en el muro norte, abiertas a la nave mediante un arco apuntado.

La bóveda es de crucería con la clave esculpida y policromada.

En el muro sur, fuera del edificio actual, se conservan los restos de otra capilla lateral.

La puerta de acceso se encuentra en el muro sur. Está formada por arcos apuntados en gradación, protegidos por un guardapolvo.

La torre campanario fue ampliada al construir el templo gótico. Tiene planta cuadrada y ventanas para las campanas en los pisos superiores.

Durante la Guerra de Sucesión, la Guerra de la Independencia y las Guerras Carlistas convirtieron el castillo en ruinas. Posteriormente, en el siglo XIX se aumentó la altura de los muros y se adaptó para el uso de armas de fuego ligeras.

En 1832 se empezó a construir en estilo neoclásico el templo parroquial en el centro del pueblo. Tras la Guerra Carlista y con el castillo bastante deteriorado, se utilizan parte de los sillares del templo para construir la nueva iglesia. También se trasladaron los retablos y el órgano del coro. Desgraciadamente éstos fueron destruidos durante la Guerra Civil de 1936.

Las ruinas de la iglesia fueron adaptadas como pabellón militar, dividiéndo la nave en dos pisos, recientemente eliminados.