Village cité au XIIIe siècle ; chapelle mentionnée vers 1250 à l'emplacement du cimetière ; le hameau de Hammerstatt, cité au Moyen Age, a totalement disparu ; village dévasté en 1446 ; depuis le 3e quart du XVIIIe siècle, l'église s'élève au centre de l'agglomération.
Le village a été le siège d'un site romain aujourd'hui détruit. Rumersheim devint propriété des Habsbourg en 1259 et fit partie de la seigneurie de Landser. La paroisse de Rumersheim est antérieure à 1300. La localité apparaît sous les dénominations successives de Rumersheim aux XIIIe et XIVe siècles, de Romersen au XVe siècle et de Rummerszheim au XVIIe siècle. Rumersheim appartient au bailliage inférieur de Landser. En 1361, une partie des redevances perçues dans le village échoit, en tant que fief castral aux nobles Zur Laube. Rumersheim ne fut pas épargné par les guerres : au XVe siècle, le village est pillé puis incendié par les troupes suisses, et le 26 août 1709, sur son ban, a eu lieu une grande bataille où 20.000 hommes se sont affrontés. Il s'agissait des soldats du Maréchal de Bourg (France) et du Comte de Mercy (Autriche). À cette occasion, les habitants du village ont été réquisitionnés pour évacuer les blessés et dégager les morts qui ont été jetés dans le Rhin. Il y eu 131 et 1200 tués respectivement du côté français et autrichien. Enfin le site de Rumersheim accueillera plusieurs constructions militaires : au XVIIIe siècle, une Redoute sera construite à l'Est du village, au bord du Rhin. L'église sera construite au XVIIIe siècle en 1782, en partie aux frais du curé Munch. En 1879, un grand incendie ravage plusieurs fermes. Pendant la première guerre mondiale, les unités allemandes stationnées dans le village construisent une ligne de chemin de fer desservant un important dépôt de munitions et de ravitaillement pour le secteur du Viel-Armand. Enfin le village devient un avant-poste français après la construction de la ligne Maginot. Le village sera libéré le 9 février 1945. Depuis 1978, le village ne dispose plus de débit de boisson.
