Classé aux Monuments Historiques pour son vestibule et inscrit pour ses ruines, le château de Rimaison a été érigé dans la seconde moitié du XVIe siècle. Entièrement en granite et schiste cristallin, il prit place sur les vestiges d'un premier manoir du XVe.
Les vestiges toujours visibles du château de Rimaison permettent notamment d'admirer le corps de logis avec tourelle Renaissance, un vestibule accessible par deux arcades, ou encore une chapelle dédiée à saint Rémy. Vendu en 1957, l'édifice a vu ses pierres transportées pour reconstruire le château de Kergluyar à Pluvigner.
Le parc accueille depuis les années 1990 un terrain de golf avec parcours de 9 trous.
