In de 11e eeuw, werd de aanwezigheid van een kasteel te reageren op strategische problemen, controle van een kritische pad: de weg naar La Roche-Bernard en Malestroit Ploërmel dat de kust verbindt met het interieur van het hertogdom van Bretagne .
In de 14e eeuw, de familie van Rochefort voegt zich bij die van Rieux (naar Redon) door het huwelijk. De site en het kasteel werd eigendom van de familie-Rieux Rochefort tot de 16e eeuw. Het is de regering van deze familie die de stad welvarend wordt en neemt het gezicht dat we vandaag kennen. Het kasteel werd verwoest voor de derde keer toen de Franse Revolutie, maar ....
Net als in Pont-Aven, in de late 19e eeuw werd Rochefort bezocht door vele schilders gecharmeerd van de oude huizen vol geschiedenis. Een van deze schilders, een Amerikaanse genaamd Alfred Klots werd verliefd op Rochefort. Hij is het die de heropleving van de stad. In 1907 kocht hij het kasteel ruïnes. Na de oorlog bouwde hij een herenhuis uit de sublieme elementen van het kasteel te Keralio Noyal Muzillac. Door de jaren 1930, Rochefort werd een populaire plaats voor zijn bloemen, de architectonische kwaliteit en de herbergen. Alfred Klots stierf in 1939. Zijn zoon, Trafford, schilder, ook zullen blijven komen naar Rochefort.
In 1976, de Algemene Raad van Morbihan kocht het kasteel in een lijfrente aan mevrouw Isabelle Klots na de dood van haar man hetzelfde jaar. Het kasteel is open voor bezoekers.
