Não é possível fazer login no Spark Cluster no EC2 após o início dos nós

Question

Estou tentando criar um cluster de máquinas Spark. Eu sigo as instruções aqui . No entanto, depois que as máquinas começaram, recebi esse erro

Setting up security groups...
Searching for existing cluster graph-cluster in region us-east-1...
Spark AMI: ami-35b1885c
Launching instances...
Launched 1 slave in us-east-1a, regid = r-e153a137
Launched master in us-east-1a, regid = r-a352a075
Waiting for AWS to propagate instance metadata...
Waiting for cluster to enter 'ssh-ready' state.............

Warning: SSH connection error. (This could be temporary.)
Host: ec2-54-236-248-xxx.compute-1.amazonaws.com
SSH return code: 255
SSH output: ssh: connect to host ec2-54-236-248-xxx.compute-1.amazonaws.com port 22: Connection refused

.

Warning: SSH connection error. (This could be temporary.)
Host: ec2-54-236-248-xxx.compute-1.amazonaws.com
SSH return code: 255
SSH output: ssh: connect to host ec2-54-236-248-xxx.compute-1.amazonaws.com port 22: Connection refused

.

Warning: SSH connection error. (This could be temporary.)
Host: ec2-54-236-248-xxx.compute-1.amazonaws.com
SSH return code: 255
SSH output: Warning: Permanently added 'ec2-54-236-248-xxx.compute-1.amazonaws.com,54.236.248.xxx' (RSA) to the list of known hosts.
Permission denied (publickey).

.

Warning: SSH connection error. (This could be temporary.)
Host: ec2-54-236-248-xxx.compute-1.amazonaws.com
SSH return code: 255
SSH output: Warning: Permanently added 'ec2-54-236-248-xxx.compute-1.amazonaws.com,54.236.248.xxx' (RSA) to the list of known hosts.
Permission denied (publickey).

Não tenho certeza do que parece ser o problema. A chave pem é a que eu baixei da Amazon para que ela esteja correta e tenha permissão 600 . Eu verifiquei no Amazon Console e as máquinas começaram.

    

Answer 1

Também encontrei isto, mas depois de o aguardar, acaba por ligar e terminar de configurar tudo.

Depois de fazer mais algumas pesquisas, parece que ( da Amazon Q / A sobre seu Linux ) na inicialização, as máquinas baixam e instalam atualizações de segurança críticas e, portanto, podem demorar mais para serem executadas quando isso acontecer.

Eu vou modificar os scripts ec2 para que ele funcione com o Ubuntu ami - agora mesmo depois de testá-los e tente executar instalações usando o yum ao invés do apt-get e finalmente falhar se você selecionar uma AMI baseada no Ubuntu .