Também conhecido como Château des Valois, ou Château François I, o Château de Cognac data originalmente do século X. Reconstruída no século XII e depois no século XV sobre os restos do primeiro edifício, revela ainda hoje uma fachada sóbria e imponente erguida em meados do século XIX. Este último apresenta medalhões esculpidos, nomeadamente de Francisco I, bem como duas salamandras.
O castelo de Cognac é constituído pela torre do Conde Jean, do século XIII, ou ainda pela casa do Governador com a sua porta gótica e o seu torreão com escada em caracol. Os visitantes irão apreciar a sala do capacete com a sua lareira monumental ou a famosa varanda do rei.