Como o hadoop decide quais são os nomes de host de seus nós?

Question

Atualmente, os URLs gerados pelo jobtracker & namenode retorna nomes de host como bubbles.local ou apenas bolhas. Eles acabam não resolvendo a menos que a máquina cliente tenha especificado isso em seu arquivo / etc / hosts.

Quando executo o comando hostname nessas máquinas, ele retorna um nome de host completo com o domínio (E.G bubbles.example.com)

Execução de um pequeno teste de Java nessas máquinas

InetAddress addr = InetAddress.getLocalHost();
byte[] ipAddr = addr.getAddress();
String hostname = addr.getHostName();
System.out.println(hostname);

Produz saída como o comando hostname .

Onde mais poderia hadoop pegar um nome de host para usar em sua interface de usuário jobtracker / namenode?

Isso está ocorrendo em clusters com Hadoop 1.0.3 e 1.0.4-SNAPSHOT do início de agosto. As máquinas estão rodando o CentOS Release 5.8 (Final).

Os URLs gerados a que estou me referindo são assim

http://example:50075/browseDirectory.jsp?namenodeInfoPort=50070&dir=/

ou http://example.local:50075/browseDirectory.jsp?namenodeInfoPort=50070&dir=/

    

Answer 1

Eu consegui fazer com que a WebUI usasse o nome completo do host fazendo o seguinte.

Em cada nó escravo e no nó mestre, o arquivo /etc/hosts foi modificado para ser algo assim:

127.0.0.1 machine1.example.com machine1 localhost
#These 4 lines appear on all of the machines
1.2.3.3 machine1.example.com machine1
1.2.3.4 machine2.example.com machine2
1.2.3.5 machine3.example.com machine3
1.2.3.6 machine4.example.com machine4

Agora, quando clico em URLs no rastreador de tarefas ou na ferramenta da Web hdfs, eles contêm os nós completos do host e resolvem.

    

Answer 2

Where else could hadoop be grabbing a hostname to use in its jobtracker / namenode UI?

conf/core-site.xml

<property>
    <name>fs.default.name</name>
    <value>hdfs://hmaster90:9000</value>
    <description>
    The name of the default file system. Either the literal string
    "local" or a host:port for NDFS.
    </description>
</property>

conf/mapred-site.xml

<property>
  <name>mapred.job.tracker</name>
  <value>hmaster90:9001</value>
</property>