После пожара 1736 года, который уничтожил более половины города, Понтарлье был восстановлен с долей субсидий Людовика XV. Остальная часть этих денег используется для строительства казарм для размещения войск, призванных усилить контрабанду на границе.
Возведенные на древних укреплениях и завершенные в 1764 году, эти два здания выходят на канал. Центральная дверь, которая требовала доступа к дороге в Морто, была удалена в 1922 году для удовлетворения потребностей движения. Несмотря на просьбу военных властей, которые хотели забор, эти здания с голым внешним фасадом организованы вокруг открытого места (названного в честь Жюля Паньера, мэра Понтарлье с 1945 по 1947 год).
С 1887 года эти казармы названы в честь генерала Жана-Жозефа Маргю (1773-1814), который отличился в армиях Республики, Консульства и Империи и был возведен в звание барона Империи. Казарма могла вместить более 200 человек и столько же лошадей. Они никогда не предназначались для единственных военных казарм, а также служили в качестве зала для пшеницы, размещения для королевских конных заводов Безансона, протестантского места поклонения и размещения для двух бригад таможенников. Приобретенные городом в 1921 году, они приютили душевые кабины, крытый рынок, столовую, школьную домохозяйку, муниципальные архивы, Красный Крест... Частично сгоревшее в 2006 году левое крыло, восстановленное и переоборудованное, является сегодня занята консерваторией эли дюпона. В правом крыле находится мечеть Филиппа-Гренье.