Un document de compra-venda de l'any 898 ens parla d'un castell en aquest indret anomenat Castroserras, situat dins el terme de la ciutat de Roda i la propietat dels vescomtes d'Osona, posteriorment també vescomtes de Cardona.  Del castell gairebé no ens queda cap resta, si més no mentre no es faci cap estudi arqueològic. La més important són les restes d'una torre localitzada a peu de la carretera que porta fins al monestir de Casserres.

Sabem que abans del 1006 aquest castell tenia una església dedicada a sant Pere, al voltant de la qual hi havia un nucli urbà i un cementiri amb tombes antropomorfes. De l'església i del poble no ens ha arribat cap resta només algunes tombes antropomorfes dels segles IX i X. A principis del segle XI es comença a edificar l'actual conjunt monàstic per ordre dels vescomtes.

Una llegenda diu que el cenobi va ser fundat pels vescomtes de Cardona quan va morir el seu fill. Aquest va dir als seus pares que no viuria més de trenta dies, just tres dies després d'haver nascut. També els va dir que les seves despulles s'havien de posar en una arca al damunt d'una burra i on aquesta s'aturés havien de construir un temple dedicat a sant Pere, nom de pila del nen. Durant segles es va venerar el cos d'aquest infant en una obertura practicada en el costat nord de l'absis principal, fins que els darrers propietaris el van portar a casa seva abans de vendre el cenobi a Caixa de Manlleu.

No sabem quanta part de la llegenda és veritat i quanta fruit de la inventiva popular. El que és cert és que el cenobi es va començar a construir en època del vescomte Bermon, que va morir sense fills. La seva àvia Ermetruit, però, va ser la que va iniciar la recaptació de fons, entre els que es trobaven els terrenys que va donar el vescomte Ramon, el pare de Bermon. Aquestes donacions van ser recollides entre els anys 1005 i 1006.

Malgrat aquestes primeres deixes, els vescomtes de Cardona aniran "oblidant-se" del cenobi en favor de Sant Vicenç de Cardona. Per aquest motiu Sant Pere de Casserres anirà perdent poder i monjos, passant a convertir-se en un simple priorat, per no poder mantenir els dotze monjos necessaris per continuar com a abadia.

En 1079 va ser unit a l'abadia de Cluny per decisió dels vescomtes. Casserres es va convertir en el centre de les possessions que tenia el cenobi francès a terres catalanes.

A partir del segle XIV comença la davallada del cenobi degut al despoblament de la zona. També va patir nombroses disputes amb el bisbe de Vic i fins i tot va ser assaltat. La davallada va ser tan important, que en 1410 va ser necessari fer-hi nombroses reparacions. Aquesta situació va anar a pitjor, especialment a partir de l'existència d'abats comendataris. En el segle XVI només resideixen en el cenobi un monjo i algun prevere. En aquest moment el rei va ordenar l'annexió de Casserres al col·legi de Jesuïtes de Betlem de Barcelona.  Aquesta dependència es va mantenir fins el 1767, quan el rei Carles III va decretar l'expulsió d'aquesta congregació.

Ens trobem davant d'un edifici singular, degut a la seva ubicació en una península que forma un meandre del riu Ter.

El primer que es va construir va ser l'església i les dependències de l'ala est del claustre.

El temple té pràcticament una planta quadrada, degut a l'estretor del cingle, fet que no permetia unes naus més llargues. Així doncs presenta tres naus, dividides en dos trams. 

En el centre, dos pilars cruciformes serveixen de suport als arcs torals i formers.

Sorprèn trobar un mur de més de dos metres d'alçada que separa el primer tram de la nau central de la del costat nord, però en la que es van localitzar restes de pintures murals, que ja no es conserven en el temple.

En les galeries d’estudi del Museu Episcopal de Vic es conserva un petit fragment de pintura mural datat a finals del segle XII. Es creu que es representa el cap nimbat i part de l’espatlla de la Mare de Déu.

En el claustre del monestir es conserva un petit fragment de pintura mural, que sembla representar el cap d'un ocell.

Malauradament la gran majoria de fragments de pintura mural procedents d’aquest monestir es conserven en una col·lecció particular. Tres fragments van ser extrets de l’absis, un d’un pilar i un tercer de la galeria de ponent del claustre.

En un dels fragments de l’absis veiem representats cortinatges de color blanc, sobre els que hi ha unes sanefes de colors negres i vermells. En dos altres fragments es poden veure motius horitzontals de tipus geomètric, entrellaçats i en ziga-zaga. Sota seu hi ha uns motius florals.

El fragment que decorava un dels pilars està en molt mal estat de conservació. Està format per dues línies paral·leles que emmarcaven una inscripció, avui desapareguda. Al seu voltant tota una sèrie de cercles concèntrics.

Per últim analitzem el fragment que correspon a la galeria del claustre, també en bastant mal estat de conservació. És una mena de tapís decorat amb motius vegetals, que conformen una mena de rombes, en l’interior dels quals hi ha ocells i altres elements vegetals.

En el temple es conserven in situ alguns fragments de pintures murals molt erosionades. El més important el trobem en el un dels pilars que separen la nau central de la sud. Només s’entreveuen alguns elements geomètrics i d’entrellaçats en la part dreta.

En l’absis sud trobem uns petits fragments de motius entrellaçats i també vegetals.

Els altres fragments conservats en el mur sud i en l’absis d’aquest costat estan molt degradats i resulta impossible esbrinar quins motius es podien haver pintat.

Les tres naus estan cobertes amb voltes de canó, la del costat nord ha estat refeta i acabades en absis semicirculars. El central està precedit per un ampli tram presbiterial. 

En l'absis nord es conserva la base de l'altar, mentre que en l'absis sud s'hi ha col·locat una de les ares d'altar localitzades en el cenobi.

Una altra de les ares d'altar es conserva en el Museu Episcopal de Vic.

Externament els absis estan decorats amb els elements característics de l'arquitectura llombarda com poden ser els arcs cecs i les lesenes. Els arcs del l'absis principal són de majors dimensions i ens recorden als de la propera església de Sant Esteve de Tavèrnoles o als de la Col·legiata de Sant Vicenç de Cardona. Cal recordar que els vescomtes d'Osona i Cardona van ser els impulsors del cenobi.  Alguns d'aquests arcs encara conserven fragments de la policromia amb la que estaven decorats. Completa la decoració de l'absis principal un fris de dents de serra per sobre dels arcs.

Davant de l'absis sud es conserven diverses tombes de forma antropomorfa excavades a la roca. També es van descobrir dues en la nau central de l'església, però quan van col·locar l'actual paviment es van enterrar. 

El temple tenia quatre portes d'accés. En el mur sud en trobem dues: una comunica amb el claustre i l'altre amb la base del campanar.

En el costat oposat del temple trobem la porta que conduïa cap al cementiri.

La façana principal és troba a l'oest, on es troba la porta més important.

Les seves dimensions són majors a les altres tres. Està formada per un senzill arc de mig punt amb llinda de fusta i timpà llis. L'arc exterior està resseguit per una motllura aixamfranada.

Encastat en el mur sud del temple trobem les despulles de Guillem de Tavertet, que fou bisbe de Vic i que es va retirar al monestir, on va morir el 25 de novembre del 1233. En el Museu Episcopal de Vic es conserva un sepulcre amb els motius heràldics de la casa Tavertet, que podria correspondre a Guillem de Tavertet.

També es conserva en el museu de Vic una pica baptismal i una base decorats amb els escuts d'aquesta família.

El claustre es va iniciar en la segona meitat del segle XI. D'ell ens han arribat pocs vestigis. Primer van ser els terratrèmols del segle XV els que van enfonsar les galeries sud i est. Posteriorment en pas del temps i l'abandó a que va estar sotmès el monestir van fer el mateix amb les galeries nord i oest. Només es conserva part del pilar de l'angle nord-est  amb el seu capitell, en el que es pot veure una petita cara esculpida. Alguns dels capitells són rèpliques dels que es conserven en el Museu Episcopal de Vic. Tots ells són de traça molt senzilla i presenten motius vegetals d'influència califal. Durant les tasques de restauració es van reconstruir les arcades romàniques en les ales nord i oest i es van deixar les altres dues tal i com estaven desprès de la reconstrucció del segle XV. 

En el mur que està tocant al temple, encara es conserven dos arcosolis destinats a sepulcres i un espai per deixar els llibres. 

En la galeria est es trobaven les dependències més importants. Si comencem el recorregut des de l'angle nord-est, en primer lloc ens trobem amb una petita estança, que originàriament estava dividida en dos plantes.

Es tracta del Scriptorium. En un dels seus murs, el que comunica amb la sala capitular, encara conserva fragments de pintures murals del segle XII on es representen motius geomètrics. En el mur est, en el pis superior, es pot veure un forat excavat en el mur que servia d'armari pels llibres. 

Al seu costat trobem una altra cambra de reduïdes dimensions que complia les funcions de sala capitular. L'estança, així com la porta d'accés, sorprenen per les seva senzillesa.  

La sala capitular comparteix l'estança amb el dormitori dels monjos. És una gran sala coberta amb volta de canó. El dormitori es comunica amb l'exterior gràcies a una porta de mig punt adovellada amb llinda i timpà llis.

En l'ala nord del claustre es troben l'antic refetor i la cuina 

En la galeria oest es troba la residència del prior. Estava formada per dues plantes. En la inferior hi ha una sala coberta amb volta de canó, que complia les funcions de celler. 

El pis superior el forma una sala amb arcs de diafragma i coberta de fusta, que té una terrassa adossada. Aquesta està sostinguda per una gran volta de canó en la zona d'accés al monestir. 

Junt al celler trobem el locutori. Aquesta sala està situada en la planta inferior de la torre campanar.

La torre té planta quadrada i dos pisos d'alçada. En el superior, on es situaven les campanes,  trobem dues finestres de mig punt en cada mur. Tots dos pisos estan coberts amb una cúpula recolzada en trompes. 

Al nord del temple trobem un edifici de planta rectangular. Era l'antic hospital del monestir. Està dividit en dues plantes, de les quals la inferior no es pot visitar. La superior, en canvi, ha estat condicionada com a sala de projeccions d'un audiovisual sobre la història del monestir. Això impedeix la seva contemplació.

Al seu davant encara es poden contemplar les restes d'altres edificacions, com el forn de pa.

També hi ha les restes d'un edifici fora del recinte monacal, del que desconeixem la seva antiga utilització.

En el Museu Episcopal de Vic també es conserva una lipsanoteca procedent d’aquest cenobi i que es trobava en un altar lateral. Es tracta d’una petita ampolla de vidre decorada amb petits relleus i que té una tapa de cera. Una altra lipsanoteca, en aquest cas de l’altar principal, es conserva en una col·lecció particular. Es tracta d’una mena d’ampolla de ferro amb les cares de perfil circular. També es conserva en aquesta col·lecció un recipient de vidre de color groc amb un lleuger relleu, de procedència islàmica.

Una altra peça conservada en aquesta col·lecció és una canelobre d’uns 30 centímetres d’alçada decorat amb esmalts champlevé, que representen flors de color vermell sobre un fons groc.

Quan arribem al recinte del monestir podem contemplar uns blocs de pedra perfectament tallada. La precisió del tall ens fa pensar que ens trobem davant la cantera que va servir per construir el cenobi.