Nel Medioevo, il villaggio di Chalencon, situato un chilometro a nord-est del villaggio di Saint-André-de-Chalencon, nella valle dell'Ance di Haute-Loire, era un importante luogo di passaggio tra i fiumi Velay e Forez. È quindi del tutto naturale che già nel X secolo vi fosse costruita una potente fortezza per assicurare il controllo di questo punto di passaggio.
Di questo castello, arroccato sulla cima di un picco roccioso, sono ancora oggi visibili bellissimi resti: un recinto quadrangolare, un torrione merlato, due torri angolari o una cappella romanica di signoria. Il tutto si affaccia sull'incantevole borgo medievale, formando un luogo pittoresco, in una cornice verde, ideale per una piacevole e tranquilla passeggiata. Classificato come Monumento Storico e di proprietà della famiglia Polignac, il castello feudale offre una notevole vista panoramica sulle Gole dell'Ance! In basso si può vedere il pittoresco Ponte del Diavolo del XII secolo, che un tempo era un ponte a pagamento che permetteva di attraversare l'Ance e collegare Chalencon a Retournac.
