A resposta direta à sua pergunta é Sim, vai piorar.
Isso ocorre porque um dos seus servidores de nome não está respondendo causará atrasos de resolução o tempo todo para os clientes que tentam resolver através do servidor de nomes com falha, enquanto a técnica atual falhará + - metade dos clientes até você detectar a VM. para baixo + segundos TTL.
Geralmente, os servidores de nomes são armazenados em cache por 48 horas, portanto, durante o menor tempo de inatividade ou as atualizações do servidor de nomes + 48 horas, os usuários terão uma experiência aleatoriamente lenta.
Sua implementação atual é melhor a menos que sua detecção de down de VM seja lenta. Para o período entre a VM descendo e você detectando + TTL, a solução proposta será realmente melhor. Mas estou assumindo que isso é um período de tempo tão pequeno que é ignorável.