Antigo castelo da primeira metade do século XIII remodelado nos séculos XVI, XVIII e XIX, o castelo de Boulogne-sur-Mer é um dos últimos complexos arquitetônicos medievais da cidade fortificada ainda intacta no país.
Classificado como monumento histórico, revela um plano poligonal cercado por um fosso. Hoje ainda tem nove torres redondas com vista para cortinas retas e porões abobadados semicirculares.
Desde 1988, abriga um museu dividido em quatro departamentos: arqueologia mediterrânea, etnografia extra-europeia, artes plásticas e artes decorativas e história local. Na agenda estão belos sarcófagos egípcios, cerâmicas gregas, pinturas italianas e flamengas e uma exposição que retrata a história de Boulogne-sur-Mer, desde a cidade antiga até o acampamento de Boulogne.
Exposições temporárias sobre diferentes temas são regularmente organizadas.