Les premiers écrits concernant le château de Saint-Pierre-des-Champs datent de la fin des années 900.
A l'été 1210, en route pour mettre le siège devant le château de Termes, Simon de Monfort, le chef de la croisade contre les Cathares, prend le château de Saint-Pierre-des-Champs. Trois Cathares sont brûlés.
Plus tard, pendant la guerre de Cent Ans, les villageois s'installent dans le château pour se protéger. Ils bâtissent leurs petites maisons adossées au rempart et morcellent le logis du seigneur.
Au milieu du XVIIe siècle, sous Louis XIV, ce château est écrêté, ses tours et ses créneaux sont détruits et deux nouvelles portes sont percées dans le rempart Est. Ces portes sont à l'origine des deux ruelles dont une est encore recouverte de calade, qui rejoignent le porche authentique.
Entre les deux guerres, le château est abandonné par la population.
Au début des années 1970, une partie du rempart Sud s'effondre et la municipalité en profite pour détruire également le bastion Sud-Est du château cathare pour créer un parking.
