Cluster do Apache Spark por meio de um proxy?

Question

Esta é mais uma questão especulativa para aqueles com mais experiência em rede / Apache Spark do que eu.

Minha configuração atual: duas máquinas Core i7 de 32 GB e 4 GHz que eu adoraria amarrar em um cluster Spark. No entanto, eles são separados por um firewall: um é meu desktop doméstico (posso configurar facilmente o encaminhamento de porta necessário) e o outro é meu desktop de trabalho (por trás de um firewall de departamento; inacessível a menos que eu já esteja na rede) .

Existe uma terceira máquina: ela fica mais ou menos na DMZ da minha rede de trabalho e, portanto, eu posso conectá-la de fora, e de lá eu tenho acesso direto ao meu desktop de trabalho. Existe alguma maneira possível de executar uma configuração de encaminhamento de porta através desta máquina para fazê-lo agir como um proxy Spark transparente para os outros dois?

    

Answer 1

Você pode configurar a terceira máquina como a principal do seu cluster SPARK, certificar-se de que ela possa se comunicar por meio do ssh com os outros nós e usar o comando spark-submit para iniciar aplicativos nela.

Você terá que enviar sua aplicação no modo de cluster, para que o driver seja executado na 3ª máquina. Depois que os outros nós forem registrados como trabalhadores no mestre, eles começarão a receber tarefas.

Aqui, seu único problema será a comunicação entre os 3 nós (especialmente a área de trabalho), não como iniciar um aplicativo na máquina que você decidirá como o mestre do seu cluster.