É provável que seus servidores DNS internos não estejam respondendo com rapidez suficiente para o número de solicitações que podem vir do ambiente do Hadoop (dependendo do tamanho).
Você pode fazer uma das várias coisas:
- Configure um servidor de nomes somente de armazenamento em cache que manipule apenas solicitações para seu cluster do Hadoop. Você precisará configurar este servidor de nomes antes de qualquer outro servidor de nomes em /etc/resolv.conf de cada host.
- Ative o nscd para fazer o armazenamento em cache de pesquisa de nome de host de curta duração em cada servidor em execução no cluster do hadoop.
- Edite / etc / hosts em cada servidor em seu cluster do Hadoop para conter uma lista completa de cada par de IP / nome de host para cada servidor em seu cluster.
Configurar um servidor de nomes somente de armazenamento em cache é bem trivial. Você deve ser capaz de encontrar um tutorial apropriado para fazê-lo adequado ao seu sistema operacional com um pouco de pesquisa.
Configurar o nscd também é bastante trivial, com a ressalva de que às vezes pode causar coisas complicadas (como alterações no nome do host que levam mais tempo do que o esperado). Se um tempo de cache suficientemente curto, isso não foi um problema para nós. Eu recomendaria desabilitar o cache passwd e group que o nscd pode habilitar. O tempo de cache não precisa ser muito longo. 600 segundos parece ser um bom equilíbrio para o nosso cluster e reduz significativamente as pesquisas reais de DNS. Mesmo 60 segundos seria melhor do que bater repetidamente no servidor DNS.
Meu arquivo de configuração é assim:
logfile /var/log/nscd.log
threads 6
max-threads 128
server-user nscd
# stat-user nocpulse
debug-level 0
# reload-count 5
paranoia no
# restart-interval 3600
enable-cache passwd no
positive-time-to-live passwd 600
negative-time-to-live passwd 20
suggested-size passwd 211
check-files passwd yes
persistent passwd yes
shared passwd yes
max-db-size passwd 33554432
auto-propagate passwd yes
enable-cache group no
positive-time-to-live group 3600
negative-time-to-live group 60
suggested-size group 211
check-files group yes
persistent group yes
shared group yes
max-db-size group 33554432
auto-propagate group yes
enable-cache hosts yes
positive-time-to-live hosts 600
negative-time-to-live hosts 20
suggested-size hosts 211
check-files hosts yes
persistent hosts yes
shared hosts yes
max-db-size hosts 33554432
Finalmente, indo a rota / etc / hosts: eu não recomendaria isso se você tivesse um cluster grande. É muito administrativamente caro garantir que todas as suas configurações estejam atualizadas.