Parcialmente catalogado como Monumento Histórico, el Castillo de Grammont en Lugny-lès-Charolles es un antiguo castillo fortificado del siglo XI reconstruido en el siglo XVIII. Antiguo centro del señorío de Lugny, no es accesible a la visita pública.
Obra del arquitecto Edme Verniquet, el castillo de Grammont consta de un cuerpo central y dos alas cortas en ángulo recto. Sin embargo, todavía se pueden ver elementos de la fortaleza medieval original, en particular, las paredes de los sótanos o una torre redonda y aspilleras.
En el interior, el castillo ha conservado su decoración original con una sobrepuerta pintada en dos dormitorios, paneles y grandes paneles con paisajes en el comedor.
