La primera noticia de este templo data del 1024, cuando Ramon III de Pallars Jussà y el presbítero Galindo Oriol se permutaron la mitad de Santa María de Noals por la mitad de San Martín, con todos sus alodios y posesiones. El conde cedió su parte al monasterio de Santa María de Alaó. Tres años más tarde, el conde cedía al monasterio la otra mitad, a cambio de cinco modis de trigo y una medida de vino anuales.

Castanesa fue un lugar con constantes litigios por la jurisdicción entre la Seu d'Urgell y el monasterio de Santa María de Alaó. En el año 1055, los condes de Pallars reconocieron los derechos que tenía sobre este templo el cenobio de Alaó.

El edificio románico fue profundamente modificado en el siglo XVIII, según consta en un sillar del presbiterio donde se ve la fecha de 1735.

Del templo original se conserva parte de la nave, cubierta con bóveda apuntada, reforzada por arcos fajones. A esta nave se le añadieron capillas laterales, se cambió la cabecera por una plana y se construyó un cimborrio.

También es de época románica, aunque con algunas modificaciones, la torre campanario, de planta cuadrada y adosada al muro sur. Es totalmente lisa con ventanas de medio punto en el piso superior.