Estou executando um trabalho do Hadoop (usando o Hadoop 0.20.2) em uma configuração de 6 máquinas; uma máquina é o namenode / node secundário / job tracker (mestre) e as outras 5 máquinas são todas datanodes / tasktrackers (escravas). O trabalho tem mais de 14.000 mapas e está mais de 10% completo. Quando eu navego na página de detalhes do trabalho do localizador de emprego, vejo isto:
Status: Running
Started at: Tue Jul 05 18:12:44 PDT 2011
Running for: 66hrs, 5mins, 4sec
Job Cleanup: Pending
Black-listed TaskTrackers: 1
Eu efetuo login na máquina em questão e vejo que o processo do rastreador de tarefas está em execução, mas a máquina não está fazendo nenhum trabalho (o comando top mostra que a utilização da CPU é de < 10%). Eu já reiniciei o nó rastreador de tarefas com estes comandos
./hadoop-daemon.sh stop tasktracker
./hadoop-daemon.sh start tasktracker
mas o nó ainda está na lista negra e o rastreador de tarefas está em execução, mas a máquina ainda não está executando nenhum trabalho.
Pergunta : Existe alguma maneira de dizer ao Hadoop para "un" fazer uma lista negra e enviar tarefas para o nó? Espero que sem ter que reiniciar o trabalho?
PS. O nó foi confirmado para estar em execução e executar tarefas no início do trabalho.
Coloque a seguinte configuração em conf / hdfs-site.xml:
<property>
<name>dfs.hosts</name>
<value>/full/path/to/whitelisted/node/file</value>
</property>
Use o seguinte comando para solicitar ao Hadoop que atualize o status do nó com base na configuração.
./bin/hadoop dfsadmin -refreshNodes
Tags hadoop