Construit au XVIe, puis remanié au XVIIe siècle, l'ancien prieuré de Saint-Jean-de-Côle bénéficie aujourd'hui d'une inscription aux Monuments Historiques pour sa bibliothèque, son jardin, sa tour, son mur de clôture, sa grange ou encore son moulin.
Installé au bord de la Côle, accolé au chœur de l'église, il dévoile encore plusieurs bâtiments d'origine, à l'instar de la bibliothèque avec une reproduction modifiée du Ravissement de saint Paul par Nicolas Poussin. Le prieuré de Saint-Jean-de-Côle sert aujourd'hui d'habitation privée.