Para conectar-se ao Spark Master, você precisa definir a conexão do Bridge na VM. Agora sua conexão NAT é por isso que você não pode se conectar. link
No modo Bridge, tudo funciona bem
Eu tento executar o apache spark master e worker dentro da caixa virtual (ubuntu) e conecto-me a partir do meu aplicativo, mas infelizmente continuo recebendo:
akka.remote.EndpointAssociationException: Association failed
Eu configurei o redirecionamento de porta da máquina virtual para a máquina host em 7077 , 6066 & 8080 e eu posso fazer telnet da máquina do meu host para 127.0.0.1 7077 e ficar conectado.
Eu executo o mestre de faíscas e disparo com os seguintes comandos:
export SPARK_LOCAL_IP=127.0.0.1
export SPARK_MASTER_IP=127.0.0.1
bash sbin/spark-daemon.sh start org.apache.spark.deploy.master.Master 1 --ip 127.0.0.1 --port 7077 --webui-port 8080
bash bin/spark-class org.apache.spark.deploy.worker.Worker spark://127.0.0.1:7077 -c 2 -m 2000m -h 127.0.0.1
Na interface do usuário da web, vejo Spark Master at spark://127.0.0.1:7077
Alguma ideia? Obrigado.
Para conectar-se ao Spark Master, você precisa definir a conexão do Bridge na VM. Agora sua conexão NAT é por isso que você não pode se conectar. link
No modo Bridge, tudo funciona bem
Tags virtualbox