spark-submit
parece exigir comunicação bidirecional com um cluster Spark remoto para para executar trabalhos.
Isso é fácil de configurar entre as máquinas (10.xxx a 10.xxx e vice-versa), mas se torna confuso quando o Docker adiciona uma camada extra de rede (172.xxx a 10.xxx a 10.xxx e depois a 172. xxx até 10.xxx de alguma forma).
O Spark adiciona uma camada extra de complexidade com seus parâmetros de configuração SPARK_LOCAL_IP
e SPARK_LOCAL_HOSTNAME
para o cliente.
Como a rede Docker deve ser configurada para permitir isso?
Tags docker apache-spark