La población de Perarrúa, inicialmente no se encontraba donde la podemos ver actualmente. Al tratarse de una zona de frontera, las poblaciones y las estructuras defensivas se localizaban en lugares elevados, lejos de las llanuras y de las principales vías de comunicación, mucho más difíciles de defender. Este era también el caso de Perarrúa. La población se articuló en torno a dos núcleos importantes: uno situado alrededor del castillo del Món y la iglesia de San Clemente y el otro en torno al templo de San Martín. Cuando la frontera se aleja hacia el sur, es el momento de ocupar la llanura, con tierras más fértiles y mejor comunicada. En este momento se crea un nuevo núcleo de población, situado cerca del puente que cruza el río Ésera y de ahí que era conocido como el Puente.

Las viviendas, hoy desaparecidas, se articulaban en torno a la iglesia de Santa María de la Ribera, una curiosa construcción del siglo XII. Decimos "curiosa" por qué no encontramos ninguna otra edificación similar en toda la Ribagorza. Fue construida con planta de cruz latina, con una sola nave, transepto y tres ábsides semicirculares. Desgraciadamente esta distribución se ha perdido en buena parte, pues el brazo sur del transepto y su ábside fueron eliminados para construir una sacristía en su lugar.

El del lado norte sufrió mejor suerte, aunque no pasa por su mejor momento. Fue separado de la nave, cegando el arco de medio punto que los unía y se abrió una abertura en el muro oeste. Actualmente se utiliza para guardar las herramientas y otros utensilios del cementerio al que la iglesia da servicio. Incluso la antigua mesa de altar, actualmente girada, sirve para depositar herramientas y en algunos casos los féretros.

Su ábside es de perfil semicircular, de sencilla factura y con una ventana aspillerada en la parte central.

La misma estructura tiene el ábside principal, a pesar de que su ventana ha sido cegada.

La nave está cubierta con una bóveda de cañón, decorada con motivos barrocos. A los pies de la misma hay un coro elevado de madera, añadido posteriormente.

La puerta de acceso se encuentra en el muro oeste. Tanto la puerta como el porche que la cobija son de factura tardía, aunque parece que la original también se encontraba en este lugar. Corona este muro una espadaña de un solo ojo, también añadida al templo románico.