La commune de Haute-Rivoire est extrêmement vaste et est parcourue par deux rivières de moyenne importance et par de nombreux ruisseaux.
La topographie est assez régulière, avec des pentes peu accentuées.
La village est mentionné dès 918 sous la forme d'Alta Rivoria, mais c'est du vieux français Yauta Ravouere que les habitants tirent leur nom de Taravouériens.