Los primeros escritos sobre el castillo de Saint-Pierre-des-Champs datan de finales de los años 900.
En el verano de 1210, en su camino al sitio del castillo de Termes, Simon de Monfort, el líder de la cruzada contra los cátaros, tomó el castillo de Saint-Pierre-des-Champs. Se queman tres cátaros.
Más tarde, durante la Guerra de los Cien Años, los aldeanos se establecieron en el castillo para protegerse. Construyen sus pequeñas casas apoyadas contra la muralla y rompen la casa del señor.
A mediados del siglo XVII, bajo Luis XIV, este castillo está recortado, sus torres y almenas se destruyen y dos nuevas puertas se perforan en el muro este. Estas puertas están en el origen de dos callejones, uno de los cuales todavía está cubierto de calade, que se unen al porche auténtico.
Entre las dos guerras, el castillo es abandonado por la población.
A principios de la década de 1970, parte de la muralla sur colapsa y el municipio aprovechó la oportunidad para destruir también el bastión sudeste del castillo cátaro para crear un estacionamiento.
