Château fort féodal du XIIe siècle, le château de Potelle bénéficie aujourd'hui d'une inscription aux Monuments Historiques. Maintes fois dévasté par les guerres, notamment par les troupes de Louis XI au XVe siècle et les Impériaux au XVIIIe, il est entièrement restauré en 1817 par le chanoine de Carondelet.
Plusieurs fois transformé, le château de Potelle n'en a pas moins conservé une maçonnerie de grès taillé au caractère médiéval. Protégé par de larges douves, il présente à ses visiteurs une enceinte polygonale irrégulière à tours cylindriques dotées de meurtrières et de fenêtres à meneaux.
Afin de pénétrer sur le site, les visiteurs passent un châtelet d'entrée du XIIIe siècle avec deux tours encadrant la porte. Accolé au bâtiment, il est possible de découvrir une loge sur un portique à trois arcades couronnées de cimiers sculptés sur deux chapiteaux.
Une chapelle est également visible et présente une rare poutre de gloire surmontée des personnages de la Passion en bois polychrome du XVIIe siècle. Cette dernière bénéficie d'un classement aux Monuments Historiques.