executando hadoop na variável ec2 e HADOOP_HOME?

Question

Estou seguindo o Hadoop in Action para começar a usar o hadoop com ec2. Estou rodando no Ubuntu e baixei e instalei a última versão do Hadoop. Estou atingindo um bloqueio de estrada com este comando:

hadoop-ec2 launch-cluster mycluster 2

The book says "The Hadoop EC2 tools are in the directory src/contrib/ec2/bin under your Hadoop installation. Recall that our ec2-init.sh script has already added that directory to your system PATH. Within that directory is hadoop-ec2, which is a meta-command for executing other commands. To launch a Hadoop Cluster on ec2 use:

hadoop-ec2 launch-cluster < cluster-name> < number-of-slaves>"

A resposta que recebo é: hadoop-ec2: command not found

Percebi que a variável $HADOOP_HOME não está definida.

Parece que este livro está desatualizado.

1. alguém pode me direcionar para um tutorial que foi criado nos últimos meses sobre como configurar o hadoop com o ec2?
2. Depois de algumas pesquisas rápidas, parece que HADOOP_HOME está obsoleto. Isso é verdade?
3. Eu posso sem problemas executar ec2-describe-images . e obtenha todas as imagens disponíveis que eu possa usar. Por que o trabalho do comando hadoop-ec2 não funciona?

Obrigado pela sua orientação.

Eu sei que hadoop/bin shoudl existe e quando eu fiz isso:

sudo find / -wholename '*hadoop/bin*'

não encontrei nada.

    

Answer 1

Por que não experimentar o EMR ou Xplenty da Amazon obter um cluster automaticamente instalado e funcionando? Você também pode tentar provisionar um cluster do Hadoop no EC2 com o Cloudera Manager, Whirr ou Ambari