Vers 1170 un conflit oppose le vicomte Roger II de Trencavel à l'abbé Raymond de Saint-Pons-de-Thomières. Le vicomte accuse l'abbaye d'avoir fortifié le village de La Salvetat, malgré l'opposition de son père Raymond I: «à cause de la forcia, fortification ou castrum de Salvetas qui a été édifié à côté de sa terre contre la volonté de son père». La façade nord de l'église fortifiée En représailles, Roger II Trencavel attaque Saint-Pons commet des «déprédations violentes» et «beaucoup de malheurs», détruisant notamment les murailles de la villa du monastère, et imposant le payement de 30.000 sous melgoriens. Le conflit est connu par l'accord finalement conclu et dicté le 1er janvier 1171 par les médiateurs comprenant l'archevêque de Narbonne et les évêques de Béziers et Albi. L'abbé de Saint-Pons doit verser 2000 sous melgoriens au vicomte; ce dernier autorise le monastère à conserver La Salvetat fortifié sous l'albergue de cinquante chevaliers: «que tu aies et possèdes en paix le castrum ou fortification de Salvetas et selon ta volonté, que toi et tes successeurs puissiez édifier et construire» Galerie à fonction défensive dans l'église Certaines études ont interprété cet accord comme un élément de datation de la reconstruction de l'église abbatiale. En fait, il n'est pas indiqué de manière précise ce qui a été détruit et simplement indiqué que le monastère peut être bâti, fortifié et enclos. La localisation exacte de ce castrum de Salvetas fait également débat: selon certains historiens, il pourrait s'agir du lieu même où est implanté le monastère de Saint-Pons, auprès duquel une sauveté aurait été fondée antérieurement, et non de La Salvetat-sur-Agout.