Capitale de la noisette au pays du pruneau, Cancon se situe en vallée du Lot, en Lot-et-Garonne, au carrefour de grands axes routiers : Paris / les Pyrénées et Bordeaux / Cahors.
Cant fut le premier nom du mont sur lequel s'étale le village. Du temps des Francs, sur l'antique plateau de Cant se construisit un village fortifié d'où l'on pouvait dominer et voir l'ennemi de loin. Au XIe siècle, le donjon témoignait de l'importance stratégique du château de Cancon qui contrôlait la voie romaine d'Agen à Périgueux. Alphonse de Poitiers a fondé un grand nombre de bastides dont, toutes proches, Monclar d'Agenais et Saint-Pastour, mais aussi Monflanquin, Villeréal et Castillonnès. Etait-ce pour surveiller le seigneur de Cancon ? Ce dernier, Pons Amanieu de Madaillan, établit une petite ville au pied de son château en 1255.