Au XIe siècle, la présence d'un château fort répondait à des préoccupations stratégiques, le contrôle d'une voie de passage essentielle : la route de La Roche-Bernard à Malestroit et Ploërmel qui relie le littoral à l'intérieur du duché de Bretagne.
Au XIVe siècle, la famille des Rochefort s'unit à celle des Rieux (vers Redon) par mariage. Le site et le château féodal devint la propriété de la famille des Rieux-Rochefort jusqu'au XVIe siècle. C'est sous le règne de cette famille que la cité devient prospère et prend le visage que nous lui connaissons aujourd'hui. Le château sera détruit pour la troisième fois au moment de la Révolution Française mais....
Comme à Pont-Aven, à la fin du XIXe siècle, Rochefort reçut la visite de nombreux artistes peintres charmés par les vieilles demeures remplies d'histoire. Un de ces peintres, un américain du nom d'Alfred Klots tomba littéralement amoureux de Rochefort. C'est lui qui sera à l'origine du renouveau de la cité. En 1907, il racheta les ruines du château. Après la guerre, il y fit construire un sublime manoir à partir des éléments du château de Keralio à Noyal-Muzillac. Dès les années 1930, Rochefort devient un site fréquenté pour ses fleurs, son patrimoine architectural de qualité et ses auberges. Alfred Klots meurt en 1939. Son fils, Trafford, artiste peintre lui aussi, continuera de venir à Rochefort.
En 1976, le Conseil Général du Morbihan rachète en viager le château à Mme Isabelle Klots après le décès de son époux la même année. Le château est depuis ouvert à la visite.
