Am Rande des Waldes von Fontainebleau und am Ufer des Loing gelegen, gehörte dieser befestigte Platz aus dem zwölften Jahrhundert zum königlichen Besitz. 1120 ließ König Ludwig VI. Le Gros es in Kastellanei errichten. Es umfasste dann 1356 Meter Wälle, zwanzig Türme, drei Tore und ein Verlies. Einige Überreste sind heute noch gut erhalten und tragen zum Charme der Stadt bei. Das Burgundertor (zu besichtigen während der Europäischen Tage des Denkmals) und das Samois-Tor (die so genannte Porte de Paris) haben an beiden Enden der Grande-Straße immer noch gut ausgesehen. Seit sich der impressionistische Maler Alfred Sisley in Moret-sur-Loing niedergelassen hat, sind viele Künstler aus allen Ländern gekommen, um ihre Staffelei dort zu platzieren.