Estou procurando uma solução para melhorar minhas performances no cluster do Spark, li no link :
We recommend having 4-8 disks per node
Eu tentei ambos com um e dois discos, mas vi que com dois discos o tempo de execução é dobrado. Alguma explicação sobre isso?
Esta é a minha configuração: 1 máquina com 140 GB de RAM 2 discos e 32 CPU (sei que é uma configuração incomum) e sobre isso eu tenho um cluster Spark autônomo com 1 Worker.
Tags apache-spark
Estou usando um HAProxy 1.6.4 para balancear a carga do meu tráfego em diferentes servidores. Como agora, o meu haproxy corre dentro de um contêiner docker. Na minha configuração eu tenho frontends e backends diferentes. Como em meus testes, meus backends de front-end trabalham e encaminham o tráfego para o meu pedido desejado.
Mas o problema é que parte do meu tráfego está recebendo o erro CONN_RESET. e ao visualizar os logs haproxy descobri que minhas fronends e backends estão reiniciando continuamente. o log se parece com isso.
%pre%a configuração mais simples que eu tinha parecido isso .
Agora, minha pergunta é o que estou perdendo? por que minha conexão foi refeita e por que a reinicialização?