Le bourg doit son nom aux trois monastères (moustiers en vieux français) construits au Moyen Âge, Saint Hilaire, Saint Pierre et Notre Dame, aujourd'hui détruits.
Ces lieux sont importants dès l'époque préhistorique ainsi que l'atteste la présence de nombreux dolmens. Ces derniers font l'objet d'une mise en valeur accrue et un sentier de randonnée "le sentier des dolmens" permet d'en découvrir quelques-uns.