Siège de la mairie, le château de Fumel, édifice médiéval reconstruit au XVIIIe siècle, est pourvu de splendides jardins en terrasses dominant la vallée du Lot. Outre la merveilleuse vue panoramique sur la rivière et ses abords, la visite des lieux permet également de découvrir un jardin à la française sur la terrasse supérieure, ainsi qu'un jardin à l'anglaise, en contrebas, agrémenté de différentes essences d'arbres telles que cèdres du Liban, marronniers et platanes.
Pour poursuivre la découverte de Fumel et de la vallée du Lot, rien ne vaut une balade en gabarre ! Des sorties commentées d'environ une heure et quart sont proposées en période estivale au départ du pied du pont de Fumel.