Le château de Brousse est situé sur la commune de Brousse-le-Château, dans l'Aveyron, à 30 km au nord-ouest de Saint-Affrique.
Il a été édifié au Xe siècle sur un éperon rocheux dominant la confluence du Tarn et de l'Alrance.
Véritable château fort surveillant cet axe stratégique, il appartient d'abord aux comtes de Rouergue, puis à la famille Millau (les comtes de Rodez) et à la famille d'Arpajon qui détient la seigneurie durant cinq siècles.
Vers 1700, l'ensemble passe en possession de Gilles de Gransaignes, secrétaire du roi, et peut avant la Révolution, le bien est vendu à Jean-François Peyrot de Valhausy, conseiller à la cour du parlement de Toulouse. Ce dernier est guillotiné en 1794.
En 1834, la commune qui s'est développée autour de la forteresse acquiert le site. De premières restaurations sont effectuées, et d'autres suivront à partir des années 1960 grâce à une association.
Classé depuis 1943, le château a conservé des remparts cernant l'espace formé par l'éperon rocheux où il fut bâti. Sur le côté donnant sur le village, le mur est percé par un passage creusé dans le roc. On observe encore des courtines et des tours (la tour du Prisonnier, la tour de la Princesse ou encore la tour Picarde, dont il ne reste que les fondations mais était à l'origine la plus haute de la région, s'élevant à 45 m du sol). Pour ce qui est du logis seigneurial, en partie couronné de mâchicoulis, il a été doté de contreforts à la Renaissance. Un escalier a été aménagé au XVIIe et au XVIIIe siècle, les ouvertures ont été élargies pour parfaire l'éclairage intérieur.
Une partie du jardin est plantée de rosiers. Des œuvres d'art anciennes ou contemporaines sont conservées en permanence, et le château accueille chaque année des expositions artistiques temporaires.
La majesté du site a permis à la commune d'intégrer le cercle des "Plus Beaux Villages de France".
Ouvert du mercredi au dimanche en février, mars, avril, octobre et novembre et tous les jours de mai à septembre. Entrée : 4 et 5 euros. Renseignements au 05 65 99 45 40 ou 05 65 99 45 15.