Oorspronkelijk gebouwd in de 11e eeuw in Calvados, had het kasteel van La Pommeraye toen een defensieve roeping, zoals blijkt uit de nog steeds aanwezige overblijfselen: een kasteelmotte, twee ingangportieken, een verdedigingsvijver, grachten of omheiningsmuren.
Het huidige Château de la Pommeraye, gerenoveerd in de 17e en 19e eeuw, staat op de herwerkte middeleeuwse overblijfselen. Het heeft de vorm van een U-vormig pand met een grote binnenplaats begrensd door Lodewijk XIII-paviljoens en bijgebouwen. Kenmerkend voor de restauratieperiode zijn vrij sobere gevels naar het model van het Romeinse atrium. Daarnaast is er een met bomen omzoomde promenade, een park, een oranjerie, serres, een moestuin in Franse stijl, boomgaarden en zelfs een kapel uit de 19e eeuw.
Het kasteel van La Pommeraye is nu open voor het publiek en biedt uitzonderlijke kamers.