O método mais fácil é apontar todos os seus clientes para um determinado nome DNS ao configurar as conexões. Quando você precisa alternar os servidores, basta atribuir esse nome DNS ao novo servidor.
Em preparação para isso, você pode diminuir o valor TTL da entrada DNS para um valor muito pequeno, para que a alteração tenha a chance de se propagar rapidamente.