Parcialmente listado como Monumento Histórico, o Château de Grammont em Lugny-lès-Charolles é um antigo castelo fortificado do século XI reconstruído no século XVIII. Antigo centro do senhorio de Lugny, não é acessível à visitação pública.
Obra do arquiteto Edme Verniquet, o Château de Grammont é composto por um corpo central e duas alas curtas em ângulo reto. No entanto, ainda são visíveis elementos da fortaleza medieval original, em particular as paredes das adegas ou uma torre redonda e brechas.
No interior, o castelo manteve a sua decoração original com uma porta pintada em dois quartos, lambris e grandes painéis paisagísticos na sala de jantar.