Infelizmente, você tem um problema aí. A prática normal é definir registros A com TTLs razoavelmente longos (tempo de vida). Os registros A persistem no cache de qualquer servidor DNS que tenha sido consultado pelo tempo que o TTL diz. Isso significa que, para trocar os registros A, você teria que ter TTLs muito curtos (não é uma boa ideia porque realmente aumenta a carga do seu servidor DNS). E, claro, você teria que depender de todos realmente obedecerem ao TTL muito curto.
Acho que o que você está tentando fazer é fazer um failover de um serviço no nível do DNS em vez de no nível de IP. E não é para isso que o DNS foi projetado, nem é algo bom para o DNS. Você quer uma solução de failover diferente - a que você está propondo vai sobrecarregar o DNS de uma forma que não deveria ser tensa.