spark.dynamicAllocation + definindo os parâmetros de ignição de acordo com o cluster ambari

0

queremos encontrar os valores para os seguintes parâmetros de ignição de acordo com as entradas como memória na máquina datanode, CPU CORE na máquina do nó de dados, números da máquina datanode etc ,

spark.dynamicAllocation.initialExecutors = ?
spark.dynamicAllocation.minExecutors = ?
spark.dynamicAllocation.maxExecutors = ?

Eu acho que não podemos dar exatamente os valores para ajudar a encontrar o intervalo para esses parâmetros

por exemplo

temos cluster ambari com

3 máquinas principais

21 máquinas de trabalho (cada máquina de trabalho tem 32G de memória e 16 CORE CPU)

3 máquinas kafka

por favor me ajude a calcular os valores para os parâmetros (terei prazer em obter o intervalo do valor para cada parâmetro, pois sei que nunca fechamos o valor exatamente)

Eu apenas dou minha opinião aqui (com base no site - link

podemos definir os dois parâmetros para 21 (como número de máquinas de trabalhadores)? está tudo bem?

spark.dynamicAllocation.initialExecutors = 21
spark.dynamicAllocation.minExecutors = 21
spark.dynamicAllocation.maxExecutors = 21
    
por enodmilvado 08.02.2018 / 22:37

0 respostas

Tags