Le Château fut construit par les princes de Talmont au XVe siècle, Soubise chef protestant s'empare du château en 1622 et y fait construire des fortifications. Garnison sous Louis XIII, bombardé en 1796 par les anglo-hollandais, racheté par l'Etat en 1835 puis restauré de 1986 à 1994, le château abrite actuellement le musée de la Mer. Par la visite de ce musée, vous pourrez accéder à la tour pour découvrir un magnifique panorama de la ville, de la baie des Sables-d'Olonne et des marais environnants.
La tour fait partie du système défensif du château Saint-Clair. Le premier feu (phare) fut installé en 1593. Au XVIIIe siècle, le feu de la Chaume est le seul phare de Vendée.
