Die Geschichte des Turms reicht bis in das Jahr 991 zurück, als der Thibaud-Förster von König Norbert I. 1015 fertiggestellte Befestigungsanlagen errichtet.
Die Passage der Burg Castrale Stone Castle, die an dieser Stelle errichtet wurde, wird dem Sohn von Thibaud File-Etoupe Guy Ier zugeschrieben. Während des Hundertjährigen Krieges wurde die Burg mehrmals belagert und 1382 wurden wichtige Reparaturen vorgenommen. Im 15. Jahrhundert vollendete der Krieg zwischen Armagnacs und Burgunders seine Zerstörung. Nur der Dungeon bleibt erhalten und wird im Laufe der Zeit nach und nach renoviert.
Ein von der Regionaldirektion für Kultur (DRAC) finanziertes Restaurierungsprojekt begann im Jahr 2000, um den Turm für Besucher zu entwickeln. Schließlich hat Bürgermeister Claude Pons zwischen 2009 und 2012 Verhandlungen mit der Regionaldirektion für Kulturangelegenheiten aufgenommen, um den Turm wieder zu öffnen. Am 15. September 2012 ist der Turm wieder für die Öffentlichkeit zugänglich.
