Het museum idee werd geboren in 1836 ten tijde van de oprichting van portretten in de hal van het stadhuis. Maar het is echt in 1977 opgericht met de overname van een oud herenhuis. Het opent zijn deuren in 1982. Na een brand, een project voor de herstructurering en uitbreiding werd uitgebracht in januari 1995. Al het werk werd voltooid in 2001.
Dit landhuis is het resultaat van de combinatie van drie huizen in een rij middeleeuwse winkels. Voorheen eigendom van de familie van St. Moris is waarschijnlijk een van de oudste gebouwen die deel uitmaken van de stad vandaag. Olivier de la Marche, de kroniekschrijver van Karel de Stoute, hebben overnacht in de 15e eeuw.
Het interieur is sterk veranderd door de eeuwen heen. Er zijn slechts drie traveeën in de 15e eeuw met hun begeleiders, plafond balken in de 17e eeuw dat sommige balken nog steeds versierd met plantaardige motieven en opvattingen van Pontarlier, een vloer kast 19e-eeuwse gebrandschilderde ramen en een aantal van de vroege van de 20e eeuw.
Collecties retrace deel van de geschiedenis van Pontarlier en de Haut-Doubs sinds zijn vermeende oorsprong in de 20e eeuw: archeologie (prehistorie, vroege geschiedenis, Middeleeuwen), Franse en buitenlandse keramiek, schilderen grootvader (negentiende en twintigste eeuw ). Het museum noemde ook de rol van Pontarlier in de geschiedenis van absint.
