Die Straße nach La Roche-Bernard und Malestroit Ploërmel, die die Küste verbindet sich mit dem Innenraum des Herzogtums Bretagne: Im 11. Jahrhundert wurde das Vorhandensein einer Burg, um strategische Belange, die Kontrolle über einen kritischen Pfad reagiert .
Im 14. Jahrhundert, tritt in die Familie von Rochefort, dass von Rieux (nach Redon) durch Heirat. Der Standort und die Burg in den Besitz der Familie von Rieux-Rochefort bis ins 16. Jahrhundert. Es ist die Herrschaft dieser Familie, dass die Stadt wohlhabend wird und nimmt das Gesicht, das wir heute kennen. Die Burg wurde zum dritten Mal zerstört, als die Französisch Revolution, aber ....
Wie in Pont-Aven, im späten 19. Jahrhundert wurde von vielen Malern Rochefort von den alten Häusern voller Geschichte bezaubert besucht. Einer dieser Maler, fiel einem Amerikaner namens Alfred Klots verliebt in Rochefort. Er ist es, die Wiederbelebung der Stadt sein wird. Im Jahr 1907 kaufte er die Burgruine. Nach dem Krieg baute er eine Villa aus dem erhabenen Elemente des Schlosses zu Keralio Noyal Muzillac. In den 1930er Jahren wurde Rochefort ein beliebter Ort für seine Blumen, seine architektonische Qualität und ihre Pensionen. Alfred Klots starb 1939. Sein Sohn, Trafford, Maler, auch weiterhin kommen nach Rochefort.
Im Jahr 1976 kaufte der Generalrat von Morbihan das Schloss in eine Leibrente an Frau Isabelle Klots nach dem Tod ihres Mannes im selben Jahr. Das Schloss wurde für Besucher geöffnet.
