Instalando o Spark Cluster

Question

Estou seguindo este tutorial para instalar o cluster Spark. link

Estou copiando manualmente todos os comandos enquanto enfrentei alguns problemas usando o cloud-init.

I am not able to run following commands from the tutorial:

Faça o download e descompacte o Spark

 curl -o /tmp/spark-$SPARK_VERSION-bin-hadoop1.tgz http://$APACHE_MIRROR/spark/spark-$SPARK_VERSION/spark-$SPARK_VERSION-bin-hadoop1.tgz
 tar xvz -C /opt -f /tmp/spark-$SPARK_VERSION-bin-hadoop1.tgz
 ln -s /opt/spark-$SPARK_VERSION-bin-hadoop1/ /opt/spark
 chown -R root.root /opt/spark-$SPARK_VERSION-bin-hadoop1/*

Você pode dar uma olhada nesses comandos no link acima mencionado.

Qualquer ajuda ou sugestão seria apreciada. Obrigada!

    

Answer 1

$SPARK_VERSION , $APACHE_MIRROR são variáveis de ambiente então basta copiar a colagem, pois comandos individuais não funcionarão.

O tutorial que você apontou acima é sobre a configuração de um cluster do Spark nas VMs do OpenStack.

Primeiro, escreva um script bash , conforme mostrado no tutorial. (init-spark-master.sh)

Em seguida, basta executá-lo.

UPDATE -

A menos que você configure as variáveis de ambiente antecipadamente, você deve executar comandos completos.

Por exemplo, %código% funcionaria sem qualquer problema.