Como configurar o cliente Spark em execução em um contêiner Docker para comunicação bidirecional com um cluster Spark remoto?

Question

spark-submit parece exigir comunicação bidirecional com um cluster Spark remoto para para executar trabalhos.

Isso é fácil de configurar entre as máquinas (10.xxx a 10.xxx e vice-versa), mas se torna confuso quando o Docker adiciona uma camada extra de rede (172.xxx a 10.xxx a 10.xxx e depois a 172. xxx até 10.xxx de alguma forma).

O Spark adiciona uma camada extra de complexidade com seus parâmetros de configuração SPARK_LOCAL_IP e SPARK_LOCAL_HOSTNAME para o cliente.

Como a rede Docker deve ser configurada para permitir isso?