Os habitantes de Vayrac são chamados Vayracoises e Vayracois.
Vayrac tem o oppidum gaulês do Puy Issolud, onde ocorreu a batalha de Uxellodunum em 51 aC
o próprio Júlio César veio aqui para derrotar alguns milhares de rebeldes gauleses pós Alesia (ver o museu na praça da Câmara Municipal).
Durante a Segunda Guerra Mundial, uma série de obras do Museu do Louvre estavam escondidas em um celeiro e uma casa em Vayrac.
Vayrac está na parte Lotoise do rio Dordogne, listados Grandes Sítios de Midi-Pyrénées e reserva da biosfera mundial pela UNESCO.