As entradas de DNS são (geralmente) armazenadas em cache, portanto, embora as pesquisas iniciais possam levar um segundo ou mais, pesquisas subseqüentes (se em um curto período de tempo) devem ser rápidas.
A resposta depende da frequência com que seu código tenta fazer a resolução de nomes e por quanto tempo as entradas estão sendo armazenadas em cache pela biblioteca do resolvedor ou pelo sistema operacional.
i.e. se o seu aplicativo da web faz uma conexão a cada segundo e sempre faz a resolução de nomes e é sempre forçado a enviar uma solicitação de DNS devido ao TTL expirado (tempo de vida), então sim, remover isso proporcionará um benefício de desempenho.
No entanto, se seu aplicativo se conectar uma vez a cada 5 minutos e, na maioria das vezes, receber uma resposta em cache, provavelmente você não perceberá nenhuma alteração.