Qualquer chamada para um nome DNS requer uma pesquisa, mesmo que seja local, para que essa parte seja esperada. No entanto, deve armazenar em cache o registro enquanto o TTL, portanto, enquanto você estiver usando o nome DNS de todos os seus objetos na página, ele não precisará fazer a pesquisa de DNS várias vezes. Você não está usando nomes exclusivos para cada objeto na página?
Verifique a configuração de TTL da sua zona para confirmar que está definida como algo razoável.
Quanto aos tempos mais longos, pode ser do servidor DNS ou do cliente DNS. Tente testar usando o nslookup para fazer consultas DNS diretamente no servidor DNS para ver se você obtém o mesmo tempo de resposta. Você pode querer percorrer o caminho do nome de domínio do TLD até seu nome de domínio (ou cnames) para ver onde ele fica mais lento.
Uma maneira de excluir (ou in) seu cliente DNS é assistir a um site público como o google.com com o firebug para ver se ele também está lento.