Jusqu’au milieu du 16ème siècle, la métairie d’Arifat appartient à l’évêque de Saint-Pons. Alors qu’elle menace ruine elle est mis en vente en 1576 , en tant que «bien noble», c’est à dire exemptée de la taille et achetée par Jean de Cabrol.
La famille de Cabrol, d’origine bourgeoise, souhaite «vivre noblement», ce qui passe par
l’achat d’un fief, d’une seigneurie ou plus simplement d’un «bien noble».
le château d'Arifat, au début du 20ème siècle
La métairie prend alors le nom de château ; le bâtiment tel qu’il apparaît aujourd’hui rappelle les manoirs de la région comme Grandsagnes ou Pardailhan, (du 17ème siècle), avec peut-être la grosse tour carrée plus ancienne. Le domaine d’Arifat aurait compris à cette époque près de 430 hectares.
En 1745 le nom de Cabrol d’Arifat s’éteint et Arifat passe par héritage chez les Ricard de Pomayrac. Ces derniers vendent l’ensemble du domaine en 1790.