O primeiro castelo é mencionado em 1259, por três co-senhores da família Xaintrailles. Foi construído no início do século 13 e ainda resta o pátio medieval, a torre de menagem e as encostas das muralhas sul e oeste.
Jean Poton de Xaintrailles, companheiro de Joana d'Arc, que morreu em 1461 e seus sucessores Bernard Lamothe e Antoine Chamborel, governadores Casteljaloux realizar construções no século XV: duas torres e o corpo da casa do norte. No século XVI, são adicionados torres na gama trompe da elevação sul e valas e uma ponte levadiça são mencionados em 1539. Em 1570 o castelo passou para Montesquiou, em seguida, para Lau de Lusignan em 1724.
Por volta de 1780, Armand de Lau, marquês de Lusignan, tinha as valas cheias e tinha acesso do oeste. Em 1824, as salas do nordeste caem e em 1843 a masmorra é parcialmente restaurada por Gustave Bourières, arquiteto do departamento.
A parte mais antiga do castelo é a masmorra do século 13, perfurada por janelas no século XV. O edifício principal do século XV tem um piso quadrado e dois andares de telhado e um telhado quadriculado e plano coberto com telhas planas. Possui como o calabouço, uma escadaria acepipes. O edifício sul de um soalho e sótão e torres é consertado (cozinhas). A ala oeste é emoldurada por duas torres.
A escadaria e o vestíbulo em forma de U foram construídos no século XVIII.
