Uma das melhores soluções para o seu cenário é o DRBD + Heartbeat. O DRBD replica disco / partições / LVs entre servidores em tempo real. Não é recomendado para servidores que possuem muito I / O mas funciona muito bem para ambientes pequenos e médios.
A documentação é muito boa, olhe para o site. Há uma seção chamada "Aplicativos habilitados para DRBD" com exemplos e soluções prontas para uso. Você pode usar "Usando o Xen com DRBD" como base, adaptando-o ao KVM.
Eu tenho muitos servidores com esta solução e funciona perfeitamente.