O que você está tentando fazer é chamado de "cluster de alta disponibilidade". A ideia básica de um cluster de alta disponibilidade é que cada membro do cluster possui seu próprio endereço IP (geralmente usado apenas para gerenciamento) e o cluster tem seu próprio endereço IP diferente.
Normalmente, esse tipo de configuração é gerenciado por software dedicado, mas você pode tentar brincar com scripts locais.
Basicamente:
- Em cada servidor, ligue os dois NICs, obtendo um NIC altamente disponível em cada servidor.
- Atribua o IP do cluster a essa nova NIC no servidor A. Verifique se você pode acessar os serviços.
- Desatribua o IP do cluster do servidor A, atribua-o no servidor B. Verifique se você pode acessar os serviços.
Agora continue imaginando como garantir que apenas um dos dois servidores possua o IP do cluster, como ter certeza de que o servidor que não tem o IP do cluster se recusa a aceitar solicitações, como sincronizar o estado entre os servidores etc. etc.