Abbarbicato su uno sperone roccioso, il castello di Gavaudun, fortezza risalente al periodo fra il XI e il XIII secolo, sembra quasi una sentinella e conserva ancora un aspetto fiero grazie all'imponente torre che tocca i 70 metri di altezza, alle mura a cortina e all'ingresso ricavato in una grotta naturale. Aperto al pubblico, il castello offre una splendida vista dall'alto della torre sulla valle del fiume Lède e sui tetti del villaggio di Gavaudun.
Gourdon