queremos encontrar os valores para os seguintes parâmetros de ignição de acordo com as entradas como memória na máquina datanode, CPU CORE na máquina do nó de dados, números da máquina datanode etc ,
spark.dynamicAllocation.initialExecutors = ?
spark.dynamicAllocation.minExecutors = ?
spark.dynamicAllocation.maxExecutors = ?
Eu acho que não podemos dar exatamente os valores para ajudar a encontrar o intervalo para esses parâmetros
por exemplo
temos cluster ambari com
3 máquinas principais
21 máquinas de trabalho (cada máquina de trabalho tem 32G de memória e 16 CORE CPU)
3 máquinas kafka
por favor me ajude a calcular os valores para os parâmetros (terei prazer em obter o intervalo do valor para cada parâmetro, pois sei que nunca fechamos o valor exatamente)
Eu apenas dou minha opinião aqui (com base no site - link
podemos definir os dois parâmetros para 21 (como número de máquinas de trabalhadores)? está tudo bem?
spark.dynamicAllocation.initialExecutors = 21
spark.dynamicAllocation.minExecutors = 21
spark.dynamicAllocation.maxExecutors = 21