Para ter alguma redundância e evitar um único ponto de falha (como a estação droid estava em Phantom Menace) você deveria ter 2 balanceadores e VRRP / CARP entre eles. Então, são 8k conexões no total. As especificações que você está propondo serão adequadas. Eu acho que até mesmo CPUs com 2 núcleos serão suficientes.
E não vejo sentido em criar 4 VMs em um físico. Quando esse nó físico morrer, as VMs também. Se falarmos sobre uma configuração de VM, você deve usar pelo menos dois nós físicos para quatro VMs - dois balanceadores e dois back-ends. Se você tiver apenas uma máquina, usá-la na maneira antiga do servidor fará o mesmo. É um único ponto de falha, de qualquer maneira.
Mysql: Sim, é chamado de replicação.