La commune tire son nom d'une colline (du breton "bre" ou "bran") dédiée au grand Saint Gallois Dewi (David).
Le bourg de Brandivy domine la charmante vallée du Loc'h. Elle est habitée dès la Préhistoire, comme le prouvent de nombreux objets retrouvés lors de fouilles.
Pendant le Haut Moyen-Âge, le Loc'h est dominée par plusieurs mottes féodales. Les ruines du château fort construit en l'An Mille par le baron de Lanvaux, l'une des plus vieilles baronnies de Bretagne, subsistent encore à proximité de l'étang de la forêt.
Jusqu'à la Révolution, Brandivy dépend du comté de Largoët dans la sénéchaussée d'Auray. Elle est érigée en paroisse distincte à la suite du concordat de 1802, et en commune indépendante le 4 juin 1862.
