A propagação da peste levou o bispo de Auxerre, senhor do lugar, a dotar o castelo de Varzy de um leprosário no século XIII. Anexo do Hotel-Dieu, foi localizado a 3 km da cidade, em Vaumorin. No final do século XII, junto à doença, foi construída uma capela dedicada a São Lázaro, patrono dos leprosos.
A lepra desapareceu no final do século XV, e a manutenção da capela é assegurada da melhor forma possível pelo Hôtel-Dieu de Varzy. A partir de 1940, o processo de desintegração amplificado. O telhado está parcialmente aberto, as paredes estão destruídas e o portal está desmoronando. Coro e nave são devastados pelos coletores de lixo. Felizmente, a Camosine realizou sua restauração de 1977 a 1982.
