Le château de Balleroy a été construit au XVIIe siècle pour Jean de Choisy, conseiller du roi Louis XIII, qui a fait appel au talent du célèbre architecte François Mansart. Après avoir été occupé par les marquis de Balleroy pendant trois siècles, il a été racheté en 1970 par un riche éditeur américain, Malcolm Forbes, qui l'a entièrement restauré, avant d'être à nouveau vendu en 2019 à l'entrepreneur américain Roy Truman Eddleman. Les jardins à la française, jalonnés de parterres de buis et entourés par les communs et les douves, ont été remaniés au début du XXe siècle. Quant à son très beau parc à l'anglaise, il a été aménagé au XIXe siècle dans le style romantique.
À l'intérieur, on peut admirer une belle collection de tableaux de maîtres, une superbe salle à manger ornée de boiseries Régence, et un salon d'honneur affichant des portraits royaux.
Dans l'une des dépendances du château se trouve l'étonnant musée des Ballons, grande passion de Malcolm Forbes. Il expose objets et documents qui relatent l'épopée des ballons à air chaud et à gaz depuis le premier vol des frères Montgolfier en 1783, et qui présentent l'histoire de l'aérostation. Jusqu'en 1999, le propriétaire organisait chaque année la fête des ballons, au cours de laquelle des montgolfières s'envolaient au-dessus du château.