Como está gravando em disco via binlog, eu acho que você poderia fazer algo parecido com o que os administradores do MySQL normalmente fazem: pulsação com DRBD ( exemplo aqui.
A última vez que tentei usar o heartbeat, ele não suportou a verificação não-multicast entre nós, o que significa que era mais ou menos impossível executar na infraestrutura de nuvem / VPS (AWS, Linode, Slicehost, etc). Na verdade, a maioria dos serviços de cluster usa multicast. Isso pode não ser mais o caso, mas é algo em que se deve estar ciente. Você pode usar keepalived para fornecer failover baseado em ip, que também suporta apenas multicast, mas tem um patch disponível via Willy Tarreau (autor de HAProxy ) para adicionar suporte unicast . Eu testei isso pessoalmente em um par de servidores Linode VPS e o keepalived é capaz de fazer failover de um endereço IP compartilhado no caso de falha do servidor mestre.
Uma coisa que você pode fazer, que é provavelmente menos ideal, é gravar trabalhos em um número de servidores beanstalkd (também conhecido como particionamento). Se um deles cair, faça com que seu aplicativo detecte isso e grave em outra (s) instância (s). Seus funcionários terão que pesquisar inteligentemente cada uma das instâncias do beanstalkd e ser capazes de ignorar instâncias mortas. Como você está fazendo binlogging, fazer backup de uma instância deve ser tão fácil quanto reiniciá-la, e o app / workers detectará isso e continuará como de costume (e começará a processar as tarefas na instância recém-iniciada). Estou obviamente simplificando o processo, mas essa é outra maneira de lidar com isso.