Perguntas sobre 'apache-spark'

Tags
2
respostas

Como posso executar o Spark em um cluster usando o Slurm?

Eu escrevi um programa example.jar que usa um contexto de centelhamento. Como posso executar isso em um cluster que usa o Slurm? Isso está relacionado ao link , mas as respostas não são muito detalhadas e não estão no serverfault .     
13.05.2016 / 23:46
0
respostas

Erro de ignição: falha ao enviar RPC ao datanod

Temos poucos problemas com o nosso servidor Spark Thrift. É um novo cluster Ambari e nenhum trabalho do Spark está sendo executado agora. No log, podemos ver uma mensagem de erro: Failed to send RPC 9053901149358924945 to /DATA NODE MACHIN...
07.02.2018 / 18:35
0
respostas

Quantos discos para spark_local_dirs?

Estou procurando uma solução para melhorar minhas performances no cluster do Spark, li no link : We recommend having 4-8 disks per node Eu tentei ambos com um e dois discos, mas vi que com dois discos o tempo de execução é dobrado. Algu...
18.04.2016 / 09:48
0
respostas

Problemas de memória com o aplicativo Spark no EMR da AWS

Estou tentando chegar ao fundo dos problemas de memória há algum tempo e simplesmente não consigo entender qual é o problema. Qualquer ajuda é muito apreciada. O erro é: [![OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x000000...
16.06.2016 / 13:05
0
respostas

Como configurar o cliente Spark em execução em um contêiner Docker para comunicação bidirecional com um cluster Spark remoto?

spark-submit parece exigir comunicação bidirecional com um cluster Spark remoto para para executar trabalhos. Isso é fácil de configurar entre as máquinas (10.xxx a 10.xxx e vice-versa), mas se torna confuso quando o Docker adiciona uma...
28.01.2016 / 16:30
2
respostas

Equivalente ao comando 'top' em um cluster EMR?

Eu tenho um cluster EMR de três instâncias em execução na AWS e ele está respondendo muito lentamente no momento. Ao verificar o painel do Hadoop na porta 8088 com meu navegador, vejo "Memória usada: 203,5 GB" e "Memória disponível: 214 GB"...
24.05.2018 / 09:30
1
resposta

S3 permissões de balde de conta cruzada

Semelhante ao descrito neste artigo [0], a empresa para a qual trabalho usa uma conta do AWS bastion para armazenar usuários do IAM e outras contas da AWS para separar diferentes ambientes em execução (prod, dev etc.). A razão pela qual isso é i...
13.12.2017 / 21:03
0
respostas

O Spark pode ser configurado para escutar em várias interfaces de rede / endereços IP?

Os nós no meu cluster do Spark têm duas interfaces de rede, uma pública e outra privada. Usando a variável de ambiente SPARK_MASTER_IP , posso configurar o Spark para ouvir na porta 7077 em um ou outro endereço IP. Por exemplo: netstat...
27.01.2016 / 22:22