Grosmagny é administrativamente ligado ao cantão de Giromagny. A aldeia está localizada no lado ensolarado das montanhas Vosges, na borda da floresta e a uma altitude entre 430 e 600 metros. A estrada que atravessa segue a rota de uma estrada romana que ligava Langres a Estrasburgo, seguindo o sopé dos Vosges.
A primeira citação conhecida de Aggrum Masnil data de meados do século XII.
Ao dividir o espólio de Jeanne Montbéliard, filha de Renaud de Borgonha, o feudo Grosmagny caiu diante de Jeannette de Ferrette, sua filha, que se casara com o arquiduque Alberto II da Áustria.
A aldeia dependia da paróquia de Rougegoutte até cerca de 1796, época da construção da igreja de Saint-Georges. Foi erguido naquela época em uma paróquia autônoma e a aldeia de Eloie foi anexada a ele.
Em 2 de novembro de 1870, irromperam fortes combates entre as tropas prussianas e as tropas de Haute-Saone. O abade Miclo, vigário do Etueffont, que foi aos feridos, foi morto a tiros por um oficial inimigo. Um monumento, colocado à beira da antiga estrada de Petitmagny, ilustra este episódio trágico.
