Sim, é perfeitamente normal e um cenário usado com frequência.
Basta configurar seu servidor Apache, por exemplo, com o (s) mesmo (s) host (s) virtual (is) em ambos os servidores da Web. Lembre-se que hostname / domain é uma coisa separada do endereço IP, então o servidor A terá um IP, o servidor B terá outro. Para controlar qual servidor você acessa ao digitar o nome do domínio, use o DNS. Uma maneira simples de usar os dois servidores é usar o round-robin de DNS, basta apontar o host / nome de domínio para ambos os endereços IP de uma só vez.
Se você quiser usar algum tipo de situação de "failover", poderá fazer com que o DNS aponte para um IP por vez e faça failover manualmente quando necessário. Lembre-se, então, de definir o TTL (Time To Live) da entrada DNS um pouco baixo, para minimizar o tempo de failover.
Para cenários mais avançados, talvez você queira usar as configurações do balanceador de carga.
Por favor, esclareça se você precisar de mais exemplos ou informações. Mas a resposta curta é, sim, é possível e usada com frequência!