L’existence d'un castrum est attestée dès le 12ème siècle, lors d'un conflit entre l'abbé de Saint-Pons et le vicomte de Trencavel. Le château est mentionné au début du 15ème siècle : Mgr Géraud de Bricogne, évêque de Saint-Pons semble alors y séjourner.
Au milieu du 18ème siècle, Mgr de Guenet, évêque de Saint-Pons, demande au Parlement de Toulouse «l’autorisation de démolir pour vendre les matériaux de ce château si antique qu’il tombe en ruines, où de temps immémorial, aucun évêque n’y a habité … les murs à pierre sèche sont percés à jour par endroits ; il n’y a pas de cheminée, ni porte, ni croisée, ni cuisine, ni office»
La Salvetat au début du 20ème siècle
Le cahier des biens nobles de 1782 décrit pour «Mgr l’évêque de Saint-Pons : un château à deux planchers couvert ardoise, et basse-cour dans la ville, confronte levant couchant et midy rue, aquilon Jaques Fabry, contenant le château 81 cannes, la cour, 54 cannes »
En 1794, le château est vendu comme bien national et démembré en trois lots : « vente des biens nationaux confisqués au Sr Chalabre, émigré, ci-devant évêque de Saint-Pons » ;
En 1806, la commune de La Salvetat se propose d’acquérir «une partie du ci-devant château de l’évêque de Saint-Pons, pour y placer la mairie,
la Justice de Paix, l’instituteur, les prisons, un corps de garde.»
La Mairie, à l'emplacement du château
Aujourd’hui, profondément modifié, le bâtiment qui occupe l’emplacement de l’ancien château abrite la mairie.