Eu estava tentando configurar o Hadoop usando os IPs públicos de instâncias amazon em vez de seus IPs intra-rede, pois meu objetivo é criar um cluster híbrido, ou seja, um cluster de máquinas Cloud + Local. Embora todas as configurações do ssh estejam perfeitamente bem, o Hadoop ainda não é capaz de se conectar quando os IPs públicos da Amazon são usados (os datanodes não conseguem encontrar o namenode). Eu tinha usado o IP público da instância do amazon na configuração do zookeeper do hbase e ele estava corretamente conectado a ele. Então, por que o HBase se conecta e o Hadoop não?
O mesmo problema foi com o kafka também.
Eu encontrei a resposta.
O truque é não ter nenhuma entrada referente às instâncias do amazon EC2 no arquivo '/ etc / hosts' e também o arquivo '~ / .ssh / config' deve conter apenas a seguinte configuração quando se trata de instâncias do amazon :
Host ec2-x-x-x-x.compute-1.amazonaws.com
StrictHostKeyChecking no
IdentityFile /path to private key
Aqui ec2-x-x-x-x.compute-1.amazonaws.com é o IP público da instância amazon.