Partiellement inscrit aux Monuments Historiques, le château de Grammont à Lugny-lès-Charolles est un ancien château fort du XIe siècle reconstruit au XVIIIe. Ancien centre de la seigneurie de Lugny, il n'est pas accessible à la visite publique.
Œuvre de l'architecte Edme Verniquet, le château de Grammont se compose d'un corps central et de deux courtes ailes en retour d'équerre. Des éléments de la forteresse médiévale d'origine y sont cependant encore visibles, notamment les murailles dans les caves ou encore une tour ronde et des meurtrières.
À l'intérieur, le château a conservé son décor d'origine avec un dessus-de-porte peint dans deux chambres, des lambris ou encore des grands panneaux à paysages dans la salle à manger.
