Grosmagny est administrativement rattachée au canton de Giromagny. Le village est situé sur le versant ensoleillé du massif des Vosges, à la limite de la forêt et à une altitude comprise entre 430 et 600 mètres. La route qui le traverse suit le parcours d'une voie romaine qui reliait Langres à Strasbourg en suivant le pied des Vosges.
La première citation connue de Aggrum Masnil date du milieu du XIIe siècle.
Lors du partage de la succession de Jeanne Montbéliard, fille de Renaud de Bourgogne, le fief de Grosmagny échut à Jeannette de Ferrette, sa fille, qui avait épousé l'archiduc Albert II d'Autriche.
Le village dépendait de la paroisse de Rougegoutte jusque vers 1796, époque de la construction de l'église Saint-Georges. Elle fut érigée à ce moment-là en paroisse autonome et le village d'Éloie lui fut rattaché.
Le 2 novembre 1870 eurent lieu de violents combats entre les troupes prussiennes et les mobiles de Haute-Saône. L'abbé Miclo, vicaire à Étueffont, qui se rendait auprès des blessés, fut abattu par un officier ennemi. Un monument, placé au bord de l'ancienne route de Petitmagny, illustre ce tragique épisode.