Exagero? De modo nenhum. Desnecessário? Talvez. Adiciona mais complexidade? Sim. Latência? Na verdade não.
O que você precisa saber é que você está adicionando um ponto adicional de falha em seu sistema e se é possível compensar esse ponto de falha o suficiente.
Por exemplo, se algo acontecer com sua resolução de DNS, você não poderá mais falar com seu balanceador de carga. Isso é provavelmente OK, porque se o seu DNS falhar, as chances são de que um monte de outras coisas também falharão.
Você também está adicionando uma camada de cache. Isso pode atrasar seu tempo para implementar uma mudança, se você precisar alterar isso no futuro. Talvez isso esteja bem, talvez não seja. Só você pode responder isso (como você conhece sua infra-estrutura).
Latência, você deve estar bem. Você fará uma pesquisa apenas quando o TTL expirar, o que será definido com base no que você definiu. Pesquisas de DNS geralmente são muito rápidas.