En 1280, Robert de Montbron est seigneur de Varaignes.
En 1451, la châtellenie de Varaignes passe de François de Montbron à Gauthier-de-Pérusse, seigneur des Cars de la Vauguyon, de la Coussière, de Roussines, de la Tour de Bar, du Repaire et de la Baronnie de St Germain/Vienne.
Le château communal est inscrit à l'inventaire des Bâtiments de France. Il a été restauré grâce aux efforts du Syndicat d'Initiative et du Foyer d'Animation Culturelle de Varaignes qui ont reçu le 1er prix du Concours National d'Antenne 2 "Chef d'œuvres en Périls en 1981" des mains du Ministre de la Culture.
L'intérêt archéologique de ce château tient au fait qu'il permet d'embrasser l'évolution de l'architecture locale : architecture du donjon carré (XIVe et XVe), architecture gothique de la tour hexagonale (XVe) et façade de la cour intérieure (XVIe) d'inspiration Renaissance italienne.
Le château abrite l'atelier-musée des tisserands et de la charentaise qui retrace l'histoire de l'activité textile du Périgord-Limousin, berceau de la Charentaise et le travail des fibres jusqu'à la production des "Charentaises".
Visites commentées toute l'année à 15h le lundi, jeudi, vendredi et samedi. En juillet et août, le lundi, mercredi, vendredi et samedi à 15h et visite animée le jeudi à 14h30.
