En el siglo 11, la presencia de un castillo estaba respondiendo a las preocupaciones estratégicas, el control de una vía fundamental: el camino hacia La Roche-Bernard y Malestroit Ploërmel que conecta la costa con el interior del ducado de Bretaña .
En el siglo 14, la familia de Rochefort se une a la de Rieux (a Redon) por el matrimonio. El sitio y el castillo pasó a ser propiedad de la familia de Rieux-Rochefort hasta el siglo 16. Es el reino de esta familia que se convierte en la ciudad próspera y tiene el rostro que hoy conocemos. El castillo fue destruido por tercera vez cuando la Revolución Francesa, pero ....
Al igual que en Pont-Aven, en el siglo 19, Rochefort fue visitado por muchos pintores encantados por las antiguas casas llenas de historia. Uno de estos pintores, un norteamericano llamado Alfred Klots se enamoró de Rochefort. Es él quien será el renacimiento de la ciudad. En 1907 compró las ruinas del castillo. Después de la guerra, se construyó una mansión de los elementos sublimes del castillo para Kéralio Noyal Muzillac. En la década de 1930, se convirtió en Rochefort un sitio popular para sus flores, su calidad arquitectónica y sus posadas. Klots Alfred murió en 1939. Su hijo, Trafford, pintor también, seguirán viniendo a Rochefort.
En 1976, el Consejo General de Morbihan compró el castillo en una renta vitalicia a la señora Isabelle Klots después de la muerte de su marido el mismo año. El castillo ha sido abierto a los visitantes.
