Classificato Monumento Storico per il suo vestibolo e censito per le sue rovine, il castello di Rimaison fu costruito nella seconda metà del XVI secolo. Interamente realizzato in granito e scisto cristallino, si è svolto sui resti di un primo maniero del XV secolo.
I resti ancora visibili del castello di Rimaison permettono di ammirare l'edificio principale con la sua torretta rinascimentale, un vestibolo accessibile tramite due arcate, o anche una cappella dedicata a Saint Rémy. Venduto nel 1957, l'edificio vide le sue pietre trasportate per ricostruire il castello Kergluyar a Pluvigner.
Dagli anni '90 il parco ospita un campo da golf con percorso a 9 buche.
