Construido originalmente por los condes de Dreux en el siglo XIII, el castillo de Chilly-Mazarin adoptó su forma actual en la primera mitad del siglo XVIII. Situado en el casco antiguo de la localidad, hoy sirve como ayuntamiento.
Catalogado como Monumento Histórico, el actual castillo de Chilly-Mazarin se sitúa en medio de un foso. Se revela en forma de un edificio principal de piedra enmarcado por dos pabellones simétricos. La fachada tiene tres vanos perforados en cada nivel, así como ventanas en forma de ojo de buey.
El conjunto está rodeado por un hermoso parque con una locura y un canal.