Parzialmente elencato come monumento storico, il castello di Grammont a Lugny-lès-Charolles è un ex castello fortificato dell'XI secolo ricostruito nel XVIII secolo. Ex sede della signoria di Lugny, non è accessibile alla visita del pubblico.
Opera dell'architetto Edme Verniquet, il castello di Grammont è costituito da un corpo centrale e due brevi ali ad angolo retto. Vi sono tuttavia ancora visibili elementi dell'originaria fortezza medievale, in particolare le mura delle cantine o una torre circolare e feritoie.
All'interno, il castello ha mantenuto il suo arredamento originale con una sovraporta dipinta in due camere da letto, pannelli e grandi pannelli paesaggistici nella sala da pranzo.
