Bitry hatte eine Burg innerhalb der Mauern, die die Kirche verstanden wurde, war ein Chatellenie in der Abtei von St. Medard zu Soissons.
Die Behandlung wurde in 1103 an das Domkapitel durch den Bischof von Soissons Manasses gegeben. Es war ein Pfarrer im Jahre 1633 gestiftet.
Die Burg gehörte den Herren von Bitry, die waren: Philip De la Fontaine, der Sohn von Philip und Mary Conty, geboren 4. Januar 1572, war Herr von Bitry, Kapitän der leichten Reiterei. Er heiratete Anna von Bommercat, die nach dem Tod ihres Mannes 7. Februar 1627, hatte einen Teil seines Eigentums mit ihren sechs Kindern und zog sich in das Kloster der Ursulinen von Crespy, wo sie Nonne wurde und in den Geruch von Tod Heiligkeit, 28. Mai 1642.
Die Herrschaft Bitry an seinen ältesten Sohn, Henry de la Fontaine, Lord of Bitry, im Jahre 1606 geboren bestanden, wurde er Gouverneur von Noyon in 1666. Er heiratete Marie Picard, 28. März 1636, und hatte: der Charles-Henri Fontaine, Lord of Bitry, Saint-Pierre und Yriet, geboren 7. Oktober 1647, Seite aus dem großen Stall des Königs, und starb 3. Dezember 1718. Er heiratete, 15 Dezember 1705, Valentine Harlus der 12. Februar 1721 starb, hinterließ sieben Kinder. Seine Tochter Anne Charlotte, Lady of Bitry, wurde 1706 von Francis Essarts, Lord of Lignière verheiratet. Keines seiner Kinder trug den Titel Lord of Bitry (P. Anselme). Das Herrenhaus gehörte damals der Herzog von Tremouille, Lord of Attichy. Die gemeinsame Bitry und Saint-Pierre-les-Bitry wurden in einem einzigen im Jahr 1827 zusammengefasst. Sie erholten sich, durch ein königliches Dekret von 15. September 1833, ihre getrennte Existenz.
Die Kirche (Gebäude), zu Ehren des heiligen Antonius und St. Sulpice, ist ein großes Gebäude aus Stein von Flugzeugen, die mehrere Revisionen erfahren hat. Die Fassade ist im Stil der Renaissance. Der Glockenturm ist ein bemerkenswertes Denkmal für die Teile des 12. Jahrhunderts.