Voormalig kasteel uit de eerste helft van de dertiende eeuw herbouwd in de zestiende, achttiende en negentiende eeuw, is het kasteel Boulogne-sur-Mer een van de laatste middeleeuwse architectonische complexen van de versterkte stad die nog intact is in het land.
Geclassificeerd als een historisch monument, het onthult een veelhoekig plan omgeven door een gracht. Vandaag heeft het nog steeds negen ronde torens met uitzicht op rechte gordijnen en halfronde gewelfde kelders.
Sinds 1988 huisvest het een museum verdeeld in vier afdelingen: mediterrane archeologie, extra-Europese etnografie, schone kunsten en decoratieve kunsten, en lokale geschiedenis. Op de agenda staan prachtige Egyptische sarcofagen, Griekse keramiek, Italiaanse en Vlaamse schilderijen en een tentoonstelling die de geschiedenis van Boulogne-sur-Mer herleest, van de oude stad tot het kamp van Boulogne.
Tijdelijke tentoonstellingen over verschillende thema's worden regelmatig georganiseerd.