Réplique de la porte du château, elle est le témoin principal de l'époque féodale. Destinée à renforcer l'enceinte protégeant la ville, la porte Notre-Dame a été construite avec les pierres de la forteresse médiévale.
Suite à la destruction de la forteresse médiévale vers 1431, le bourg en contrebas devint une ville fortifiée. La seigneurie de Château-Chinon dépendait directement de l'autorité du roi de France. Cette porte, par laquelle on pénétrait en venant du Sud, est avec les deux tours qui la flanquent, un témoignage de la dernière enceinte de la ville, construite en 1543 avec la permission du roi Francois Ier. Le Prince de Condé, seigneur de Château-Chinon, autorise les habitants à utiliser les pierres provenant des ruines du château pour construire cette porte, qui serait à l'image de celle de l'ancienne forteresse médiévale. Cette porte doit son nom à une statue de la Vierge qui ornait la façade extérieure dont on voit toujours la niche vide. Elle se compose d'une porte charretière et d'une poterne pour les piétons, et deux tours rondes et massives l'encadrent. Cette porte figure sur le plan d'Amédée Julien de 1879 qui a reconstitué la ville du XIVe au XVIIe. Longtemps, sur la place Notre-Dame, se tenait la célébré "foire aux bois" où les vendeurs fixaient les prix, le 1er novembre de chaque année. Aujourd'hui, inscrite aux Monuments Historiques, elle a gardé son aspect ancien, malgré un enduit gris (au ciment) à l'arrière de l'édifice et des tours.
