Los orígenes de esta fortaleza los encontramos en la dominación árabe, cuando era conocida como Abinyuyas, de la que deriva el nombre actual de la población. Fue conquistada por el rey Sancho el Mayor de Navarra, que inició la construcción de varias fortificaciones para defender la cuenca del Cinca y permitir la reconquista de la del Isábena.

La edificaron maestros lombardos utilitzando la base de la antigua torre musulmana.

La torre tiene planta rectangular de casi 14 metros de largo por 8 de ancho. Sus muros, de más de dos metros de grosor en la base, se levantan hasta los 24 metros de altura. La distribución interior corresponde a la restauración realizada, si bien es la misma que originariamente existía, dividiendo así la torre en cinco plantas. Para construir el techo de la cuarta planta y el suelo de la quinta, fue necesario reconstruir los dos arcos de medio punto que sostienen la estructura de madera.

Por suerte, la torre no se derrumbó y mantiene su altura original. Durante las obras de restauración se rehicieron los elementos de madera, desaparecidos por causa del paso del tiempo, como son las separaciones entre pisos, las escaleras y el espectacular cadalso.

En la segunda planta encontramos la puerta de acceso a la torre. Está formada por un arco de medio punto dovelado, que rodea un tímpano y un dintel lisos.

La mayoría de ventanas son de tipo saetera. En la tercera planta, en los muros este y oeste se abrían unas ventanas geminadas, características de la arquitectura llombarda. La del lado oeste todavía se conserva, si bien la del muro este ha sido cegada.

Una ventana de similares características se abre en el muro sur, en este caso en la cuarta planta.

La torre formaba parte del castillo, del que todavía se conservan algunos fragmentos de sus muros.

El elemento más destacado se encuentra en el sector este de la fortificación, donde se construyó la capilla y de la que todavía se conserva el ábside, integrado en la muralla.

El ábside semicircular tiene numerosas aperturas defensivas, especialmente en la parte inferior, destinados a derrarmar líquidos hirviendo o en llamas.

A su lado se levanta la iglesia parroquial, dedicada a la Asunción, construida en el siglo XVI, todavía en estilo gótico, si bien con una clara influencia renacentista.