El castillo de Balleroy fue construido en el siglo XVII para Jean de Choisy, asesor del rey Luis XIII, que recurrió al talento del famoso arquitecto François Mansart. Después de haber sido ocupado por los marqueses de Balleroy durante tres siglos, fue adquirido en 1970 por un rico editor estadounidense, Malcolm Forbes, quien lo restauró por completo. Fue vendida de nuevo en 2019 al empresario estadounidense Roy Truman Eddleman. Los jardines franceses, jalonados de parterres de bojes y rodeados por zonas comunes y fosos, fueron remodelados a principios del siglo XX. En cuanto al precioso parque inglés, fue acondicionado en el siglo XIX en estilo románico.
En el interior, se puede contemplar una gran colección de cuadros de maestros, un magnífico comedor adornado con "boiseries" Regencia, y un salón de honor en el que cuelgan retratos reales.
En una de las dependencias del castillo se encuentra el museo de los Globos, gran pasión de Malcolm Forbes. Expone objetos y documentos que narran la epopeya de los globos de aire caliente y gas desde el primer vuelo de los hermanos Montgolfier, en 1783, y recrean la historia de la aerostación. Hasta 1999, el propietario organizaba cada año la fiesta de los globos, en la que diversos aerostatos volaban por encima del castillo.