L'actuel château de La Ferté-Vidame se situe sur l'emplacement de la forteresse médiévale des Vendôme (Vidame de Chartres). Les ruines majestueuses que vous pourrez découvrir en parcourant les allées ombragées du parc sont sans aucun doute les plus imposantes et les plus pittoresques de leur époque (XVIIIe siècle) en France.
Il ne reste plus que des murs percés d'immenses fenêtres du palais que fit construire Jean-Joseph de Laborde, richissime banquier et financier de l'époque de Louis XV et Louis XVI. Lorsqu'il acquiert en 1764 la dernière demeure de Saint-Simon (le mémorialiste), qu'il achète à la petite fille de ce dernier, il fait abattre le vieux château médiéval pour reconstruire sur les fondations de ce dernier un immense palais d'environ 150 m de façade sans compter les retours d'angles. Pour ce faire il s'octroie les services d'un architecte de renom Antoine Mathieu le Carpentier. Outre la construction d'un château d'inspiration classique, le Carpentier proposera également l'ordonnancement des jardins à la française dont nous pouvons encore aujourd'hui lire les emplacements. Les perspectives Est et Ouest représentaient une distance d'environ 3 km d'un bout à l'autre des jardins.
Peu avant la Révolution Française, en 1784, Jean-Joseph de Laborde doit se séparer de La Ferté-Vidame. En effet, à la demande du roi Louis XVI, il doit vendre l'immense château et la totalité du domaine foncier au duc de Bourbon Penthièvre. Pourquoi un tel choix ? Le duc de Bourbon Penthièvre, petit fils de Louis XIV et de Madame de Montespan, fils d'un des bâtards légitimés (le comte de Toulouse) est un richissime propriétaire terrien qui détient les châteaux d'Eu, Anet, Armainvilliers, Gisors, Vernon, Amboise et Rambouillet. Ayant, comme l'avait son père, la charge de Grand Amiral de France et surtout de Grand Veneur, il organise à ce titre les chasses de Louis XVI et invite ce dernier régulièrement à Rambouillet. Louis XVI qui, tout comme ses ancêtres, était un passionné de chasse à courre, tombe amoureux du domaine de Rambouillet et l'achète à son cousin. Le duc de Penthièvre se trouvant orphelin de l'une de ses demeures acquiert de Jean-Joseph de Laborde le domaine percheron de La Ferté-Vidame. A la demande de Louis XVI, le richissime banquier s'exécute et quitte sa demeure fertoise pour le château de Méréville dans l'Essonne. A Méréville, de Laborde entreprend un immense chantier et conçoit le plus beau parc à l'anglaise que notre pays ait connu.
Malheureusement le duc de Bourbon Penthièvre n'aura pas le temps de profiter de sa dernière acquisition puisque la Révolution Française éclate. L'ensemble des domaines appartenant à la noblesse, en l'occurrence aux membres de la famille royale, est saisi et vendu comme bien national. La Ferté-Vidame, son château, son parc et l'ensemble des terres sont vendus à Cardot Villiers promoteur immobilier peu scrupuleux qui entreprend à partir de 1793 le pillage méthodique du domaine et de son immense palais.
