Bitry had een kasteel binnen de muren van de kerk werd begrepen, was een Chatellenie in de abdij van Sint-Medard in Soissons.
De behandeling werd gegeven in 1103 in de kathedraal hoofdstuk door de bisschop van Soissons Manasse. Er was een dominee ingesteld in 1633.
Het kasteel behoorde toe aan de heren van Bitry, die waren: Philip De la Fontaine, zoon van Philip en Mary Conty, geboren op 04 januari 1572, was heer van Bitry, kapitein van het licht paard. Hij trouwde met Anne van Bommercat die, nadat haar man stierf 07 februari 1627, had een deel van zijn bezit met haar zes kinderen en trok zich terug in het klooster van de Ursulinen van Crespy, waar ze non werd en stierf in de geur van heiligheid, 28 mei 1642.
De heerschappij van Bitry doorgegeven aan zijn oudste zoon, Henry de la Fontaine, Heer van Bitry, geboren in 1606, was hij gouverneur van Noyon in 1666. Hij trouwde met Marie Picard, 28 maart 1636, en had: de Charles-Henri Fontaine, de Heer van Bitry, Saint-Pierre en Yriet, geboren op 7 oktober 1647, pagina uit de grote stal van de koning, en overleden 3 december 1718. Hij trouwde, December 15, 1705, Valentine Harlus overleden 12 februari 1721, waardoor zeven kinderen. Zijn dochter, Anne Charlotte, Vrouwe van Bitry, was getrouwd in 1706 met Francis Dessessart, Heer van Lignière. Geen van zijn kinderen droeg de titel van Heer van Bitry (P. Anselme). Het landhuis dan behoorde tot de hertog van Tremouille, Heer van Attichy. De gemeenschappelijke Bitry en Saint-Pierre-les-Bitry werden gecombineerd in een enkele in het jaar 1827. Zij herstelden, bij koninklijk besluit van 15 september 1833, hun eigen bestaan.
De kerk (gebouw), gewijd aan St. Antonius en St. Suplice, is een groot stenen gebouw van vliegtuigen, die heeft ondergaan verschillende herzieningen. De gevel is in Renaissance-stijl. De klokkentoren is een opmerkelijk monument voor de delen van de 12e eeuwse architectuur.
