Bitry había un castillo dentro de los muros de lo que se entendía la iglesia, era un Chatellenie dentro de la abadía de San Medardo de Soissons.
El tratamiento se administró en 1103 en el Cabildo de la Catedral por el obispo de Soissons Manasés. Hubo un vicario instituido en 1633.
El castillo perteneció a los señores de Bitry, que fueron: Felipe De la Fontaine, el hijo de Felipe y María Conty, nacido 04 de enero 1572, era el señor de Bitry, capitán de caballería ligera. Se casó con Ana de Bommercat que, después de que su marido murió 07 de febrero 1627, había una parte de su propiedad con sus seis hijos y se retiró al convento de las Ursulinas de Crespy, donde se hizo monja y murió en olor de la santidad, 28 de mayo de 1642.
El señorío de Bitry pasó a su hijo mayor, Enrique de la Fontaine, El Señor de Bitry, nacido en 1606, fue gobernador de Noyon en 1666. Se casó con Marie Picard, 28 de marzo de 1636, y ha tenido: la Fontaine Charles-Henri, El Señor de Bitry, San Pedro y Yriet, nacido 07 de octubre 1647, página de la gran estabilidad del rey, y murieron 03 de diciembre 1718. Se casó, 15 de diciembre de 1705, día de San Valentín Harlus que murieron 12 de febrero 1721, dejando siete hijos. Su hija, Anne Charlotte, la Virgen de Bitry, se casó en 1706 con Francisco Des Essarts, Señor de Lignière. Ninguno de sus hijos llevaba el título de Señor de Bitry (P. Anselmo). La mansión pertenecía entonces al duque de Trémouille, Señor de Attichy. El común Bitry y Saint-Pierre-les-Bitry se combinaron en una sola en el año 1827. Se recuperaron, por el Real Decreto del 15 de septiembre de 1833, su existencia separada.
La iglesia (edificio), dedicada a San Antonio y San Sulpice, es un gran edificio de piedra de las aeronaves, lo que ha pasado por varias revisiones. La fachada es de estilo renacentista. El campanario es un notable monumento a las partes de la arquitectura del siglo 12.