Construit au milieu du XVIIIe siècle pour Claude-François Renouard de Fleury-Villayer, alors grand maître des Eaux-et-Forêts, l'hôtel particulier Fleury de Villayer à Besançon fait aujourd'hui l'objet d'une inscription aux Monuments Historiques pour ses façades et toitures.
Le bâtiment, dessiné par l'architecte local Jean-Charles Colombot, présente un plan en U. Entièrement en pierre de taille, l'hôtel particulier Fleury de Villayer dévoile également une façade principale avec beaux appuis de fenêtre et fronton aux armoiries martelées.
Propriété privée non accessible au public, le site a notamment servi de prison à la Révolution française avant de passer dans les mains de la famille Droz des Villars.