Ah, eu entendo - foi porque o endereço IP reportado pela máquina ec2 aparentemente não é visível externamente. Preciso usar
ec2-54-234-xxx-xx.compute-1.amazonaws.com
Em vez de
10.140.xx.xxx
Eu usei a faísca
ec2/spark-ec2
script para iniciar um cluster da AWS. Foi lançado, eu sou capaz de ssh para o nó mestre e spark está executando - nomeadamente incluindo o web-ui na porta 8080:
$ ps -ef | grep spark
root 3807 1 1 00:22 ? 00:00:08 /usr/lib/jvm/java-1.7.0/bin/java -cp -Xms512m -Xmx512m -XX:MaxPermSize=128m
org.apache.spark.deploy.master.Master
--ip ec2-xxx.amazonaws.com --port 7077 --webui-port 8080
Além disso: no próprio mestre, é possível acessar o web-ui:
$ wget 10.140.187.xx:8080
--2015-07-25 00:44:17-- http://10.140.187.xx:8080/
Connecting to 10.140.187.xx:8080... connected.
HTTP request sent, awaiting response... 200 OK
Length: 7379 (7.2K) [text/html]
Saving to: ‘index.html’
100%[================================================================================================================================>] 7,379 --.-K/s in 0s
2015-07-25 00:44:17 (439 MB/s) - ‘index.html’ saved [7379/7379]
Agora, no lado da equação dos grupos de segurança da AWS: aqui está. Observe em particular: as portas 8080-81 estão incluídas:
Então,porquenãoépossívelconectar-seaessemestreremotamente-pormeiodaURLdeignição- link ? Apenas expira.