Le château de Villebon a appartenu au duc de Sully, puis à la famille de Pontoi-Pontcarré, et l'un des membres de cette famille a épousé la grand-mère de l'actuel propriétaire. Il est construit en briques, ce qui lui confère un aspect original et chaleureux. Il est bâti sur l'ancienne frontière entre la France et l'Angleterre (souvenons-nous d'Aliénor d'Aquitaine et d'Henri Plantagenêt) et date de la fin du XIVe siècle.
Le village est toujours dans ses fortifications et seules trois portes sont ouvertes dans celles-ci pour permettre le passage des véhicules.
La visite est effectuée par un des membres de la famille à qui appartient le château.