Provavelmente você vai acertar o cache do DNS. Primeiro, você precisará aguardar a atualização do cache de seus provedores de visitantes e, se decidir voltar, precisará aguardar novamente. Muitos provedores de Internet tendem a sobrescrever o TTL e defini-lo para o mínimo de 1 hora.
Na minha experiência, os visitantes chegaram ao antigo IP muitas horas depois da alteração no DNS.
Sugiro usar algum tipo de proxy reverso, como o nginx, na frente de seus sites e alternar os backends com ele.