Os nós no meu cluster do Spark têm duas interfaces de rede, uma pública e outra privada. Usando a variável de ambiente SPARK_MASTER_IP
, posso configurar o Spark para ouvir na porta 7077 em um ou outro endereço IP.
Por exemplo:
netstat -tulpn
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp6 0 0 10.x.x.x:7077 :::* LISTEN 43403/java
Existe alguma maneira de configurar o Spark para escutar na porta 7077 na interface pública e privada ao mesmo tempo?
Tags apache-spark