Els orígens d'aquest edifici es remunten als inicis del segle XI. Malgrat les tensions i conflictes amb el bisbat de Lleida, la comunitat va viure un període d'esplendor durant els segles XII i XIII. Va ser a partir del segle XV, que la canònica va entrar en decadència, degut bàsicament a la despoblació de la zona. Al segle XVI es va convertir en col·legiata i en arxiprestat, que va conservar la seva jurisdicció fins l'any 1874 en que es va unir a la diòcesi de Lleida.

Està construïda dins la muralla que envoltava el castell i la pròpia canònica. Del castell es conserva la part baixa d'un edifici rectangular i algunes torres. La fortificació sembla tenir els seus orígens en l'època islàmica (s. IX) i la darrera fase constructiva es va produir durant el segle XI.

De la canònica ens ha arribat part de l'església, així com diferents dependències del soterrani, construït per salvar el desnivell de la zona. La planta original del temple era de tipus basilical amb tres naus cobertes amb volta de canó. Sobre els braços del transepte, que pràcticament no sobresurt del cos rectangular que formen les naus, s'alçaven dos campanars de torre. El del costat dret encara es manté en peu, coronat per un campanar de cadireta.

La capçalera està formada per tres absis semicirculars. Els laterals estan construïts dins el mur i no sobresurten a l'exterior. L'absis central, en canvi, s'alça majestuós per sobre del poble d'Àger. La capçalera, degut a la seva ubicació, va ser integrada a la muralla de la zona del castell. Degut a aquesta funció defensiva, l'absis és molt auster i únicament està decorat amb un fris d'arcuacions llombardes. La decoració és molt més rica en la part interior on podem trobar cinc arcades sustentades en columnes amb capitells decorats, els quals es troben sota una línia d'imposta decorada. Els cinc capitells que encara es conserven a l'absis ens permeten fer-nos una lleugera idea de l'esplendor que va tenir el temple, on s'hi podia trobar unes de les mostres més interessants de l'escultura del segle XI. Malauradament, el pas dels segles ha fet que s'hagi perdut part d'aquest patrimoni o que es trobi dispersat entre diferents museus o per algunes façanes del poble. A banda i banda de l'absis trobem una petita porta que comunica amb els absis laterals.

El temple també estava decorat amb pintures murals del segle XII. Els pocs fragments que ens han arribat es conserven al Museu Nacional d'Art de Catalunya. Corresponen a l'absis i en elles s'hi pot veure als apòstols Judes Tadeu i Jaume vestits segons la tradició romana.

Al segle XIV es va allargar la nau i es va construir un nou claustre gòtic en substitució de l'original romànic. La façana actual té tres portes adovellades. La central està en un nivell lleugerament més baix per tal de permetre l'accés al pis inferior del temple.

Coneguda com Santa Maria la Vella, el pis inferior de l'església presenta també una planta força original, que recorda força als edificis pre-romànics, tot i que va ser construïda en plena època romànica. Té tres naus separades totalment entre elles. La nau central es la de majors dimensions i actualment la podem dividir en quatre parts. La primera ha perdut la coberta, però encara són visibles els punts on s'iniciava la volta de canó que la cobria i les columnes que decoraven les seves parets. La segona part té les mateixes característiques que la primera, si bé s'ha mantingut en peu la coberta de volta de canó. En la tercera part es modificava l'estructura de la nau, seguint el criteri de les criptes romàniques catalanes de l'època com pot ser la de Sant Vicenç de Cardona, en la que l'espai es dividia en tres sectors a través d'unes columnes de les quals arrencaven els arcs que sustentaven les voltes d'aresta. El darrer tram coincideix amb l'absis principal del temple superior i estava il·luminat per tres finestres en forma d'espitllera.

A cada costat de la nau, tal i com també succeeix en el pis superior, hi trobem una porta que comunica amb la capçalera de les naus laterals. Aquestes capçaleres estan separades de les naus a través d'un arc de mig punt. Es tracta d'un recinte de reduïdes dimensions on la volta de canó arrenca pràcticament des del nivell del terra.