Para serviços baseados em arquivos (um servidor web, etc.) o rsync pode efetivamente manter o segundo servidor atualizado - (usuários, configurações, etc) - quando se trata de bancos de dados, as coisas ficam um pouco mais complexas (eu usei o MySQL e um servidor escravo para isso e foi muito eficaz, eu também usei o PostgreSQL em algumas configurações de HA / standby, mas foi muito mais desajeitado)
Isso, combinado com um pouco de roubo de IP (um script rápido para atribuir o IP da máquina com falha à interface da máquina de backup) pode criar uma configuração relativamente direta, mas permitir uma recuperação rápida.
Apenas uma coisa a considerar - tenha cuidado com o failback. Movendo serviços para uma máquina de backup é uma coisa, movendo-os de volta uma vez que você tenha corrigido a falha pode ficar peludo, preste muita atenção aos bancos de dados.
LinuxHA é uma abordagem (um pouco pesada) para isso se você decidir torná-lo um pouco mais automatizado