Isso geralmente é feito usando alguma forma de VRRP mantendo um endereço IP virtual em um ou mais servidores, cada um executando o HAproxy .
Isso geralmente é feito com mantido vivo , há um guia aqui que deve ajudar.
Note que várias pessoas usam o Heartbeat para isso, mas Willy Tarreau (o cara por trás do HAproxy) mencionou que não é a melhor ferramenta para o trabalho. Você pode ler mais sobre isso em esta mensagem da lista de discussão do HAproxy.