Ancien château fort du XIIe siècle, le château de Bayers surplombe la Charente, au sein même de la commune d'Aunac-sur-Charente. Inscrit aux Monuments Historiques, il a été entièrement transformé au XVe siècle sur la volonté de Guillaume de La Rochefoucauld.
Revendu et divisé à la Révolution, à la fin du XVIIIe siècle, le château de Bayers tombe alors peu à peu en ruines avant de connaître une importante campagne de restauration à la fin des années 1980. Ouvert à la visite à la saison estivale, il dévoile un corps de logis sur l'ancienne motte castrale, des vestiges de l'ancien donjon carré, des douves sèches, une cour intérieure bordée d'un mur d'enceinte avec chemin de ronde couvert à tourelle d'angle en encorbellement, et un pigeonnier. L'actuelle église communale de Bayers est l'ancienne chapelle castrale.