Старый укрепленный замок двенадцатого века, замок Аннеси много раз переделывался, особенно герцогами Савойскими в пятнадцатом и шестнадцатом веке. Бывшая резиденция графов Женевы и герцогов Савойских-Немурских, она является собственностью города с начала 1950-х годов.
Классифицированный как исторический памятник, он был полностью отреставрирован для размещения сегодня музея с богатыми коллекциями. Здесь можно найти выставки по изобразительному искусству, современному искусству, археологии, анимации, естествознанию или этнологии.
Замок Аннеси имеет форму большого многоугольного ограждения с красивой дорожкой. Он состоит из Башни королевы высотой тридцать восемь метров, Vieux Logis, включая камень Колонного зала, башни Святого Петра в середине XVIII века, башни Святого Павла конец четырнадцатого века, дом Немур со сторожевой башней, дом Девятого второй половины семнадцатого века, а также башня и дом Перриер. С террасы открывается захватывающий вид на старый город Анси.
Музей размещается в Старом доме и Немурском доме.