Existem várias abordagens para isso, algumas das quais estão ao seu alcance.
No seu caso, eu recomendo simplesmente ter vários registros DNS, com um TTL relativamente curto. A distribuição não é ideal e os clientes podem não escolher o nó de menor latência. No entanto, é extremamente simples: tudo que você precisa fazer é poder adicionar registros DNS. Esta é uma técnica amplamente usada e testada.
Se você precisar remover um servidor do pool, basta remover seus registros DNS e a maioria dos clientes parará de usá-lo após a expiração do TTL. O mesmo vale para novos servidores: adicione-os e, após o tempo de expiração do TTL, os clientes começarão a usá-los.
O Google, por exemplo, usa isso como parte de suas técnicas de balanceamento:
$ dig A google.com
;; QUESTION SECTION:
;google.com. IN A
;; ANSWER SECTION:
google.com. 297 IN A 74.125.77.99
google.com. 297 IN A 74.125.77.104
google.com. 297 IN A 74.125.77.147
O Google amplia isso, depois que você acessar o website, redirecionando você para uma versão que é hospedada perto de você (e no seu idioma), com base no país em que você acredita estar. não precisa.