Você deve verificar o uso do site do servidor de nameservers, porque o atraso na pesquisa do DNS pode vir daqui.
Os seus dns armazenam em cache os resultados, ou apenas enviam para o seu?
Uma boa ideia seria monitorar seus próprios servidores de nomes, além do site, para verificar se há alguma lentidão.
editar:
Sim, dig indica quanto tempo demorou para executar a consulta. Mas eu estava pensando em algo mais poderoso, automático, como nagios / munin / cacti ...