Een voormalig 12e-eeuws versterkt kasteel, het kasteel van Annecy is vele malen herwerkt, met name door de Hertogen van Savoye in de 15e en 16e eeuw. Voormalige residentie van de graven van Genève en Hertogen van Savoye-Nemours, het is het eigendom van de stad sinds het begin van de jaren 1950.
Geclassificeerd als een historisch monument, het is volledig gerestaureerd om vandaag een museum met rijke collecties te huisvesten. Het is mogelijk om tentoonstellingen te ontdekken over de schone kunsten, hedendaagse kunst, archeologie, animatie, natuurlijke historie of etnologie.
Castle Annecy heeft de vorm van een grote veelhoekige behuizing met een prachtige loopbrug. Het bestaat uit de Queen's Tower, achtendertig meter hoog, de Vieux Logis inclusief zijn Hall of Columns steen, de toren van St. Peter in het midden van de achttiende eeuw, de toren van Saint Paul de het einde van de veertiende eeuw, de Nemours huis met een uitkijktoren, de thuisbasis Negen van de tweede helft van de zeventiende eeuw, en de toren en thuis Perrière. Een terras biedt ook een onneembaar uitzicht op het oude centrum van Annecy.
Het museum speelt zich af in het oude huis en het huis van Nemours.