La abadía benedictina de St. Winoc, fundada en 1022, ocupa toda la parte superior de Groenberg, el punto más alto de la ciudad (22 m). Aunque destruido durante la Revolución Francesa, sus dos torres son aún hoy un elemento importante del paisaje berguois (La torre puntiaguda : 1815 y la torre cuadrada : el siglo XII).
La tierra de la abadía, después de haber servido como Campos de Marte de la Revolución, tiene desde principios del siglo XX, el jardín público de la ciudad.