Geen Castres zonder een bezoekje aan het Goya museum, gewijd aan Spaanse schilders en de beroemde artiest Francisco de Goya! Het museum is ondergebracht in het voormalige bisschoppelijk paleis; een parel uit de 17de eeuw van de hand van Mansart, een van de architecten van Versailles voor de bouwstijl, en Le Nôtre voor de tuinen.
Oorspronkelijk was dit museum gewijd aan de werken van Goya, maar met de tijd, en door donaties, heeft het museum zijn collectie verrijkt met vele werken van ook andere Spaanse meesters. En vertegenwoordigt uiteindelijk de Spaanse kunst van de oudheid tot de 20ste eeuw, met, onder andere, werken van Velázquez, Zurbarán, Pacheco, Cano, Sorolla, Uranga, Picasso, Miró... Zijn collectie Spaanse kunst is, na die van het Louvre, de grootste van Frankrijk.
Behalve schilderijen bezit het museum ook een muntencollectie, gedateerd vanaf de 3de eeuw voor J-C tot het begin van de 19de eeuw, een opmerkelijke expositie van beelden, en een wapencollectie met 400 exemplaren.