Configuração ideal de energia da CPU do BIOS para o desempenho do Hadoop?

Question

Estou no processo de configurar um cluster do Hadoop e até agora foi incapaz de encontrar uma boa resposta para como configurar o poder da CPU na BIOS para Linux.

Meu BIOS oferece várias opções em relação à potência da CPU. as principais categorias são:

• Desativar
• Eficiência energética
• Personalizado
• Desempenho máximo

Há uma série de outras configurações (limite de energia de duração longa, duração curta, etc.). Mas vamos apenas falar sobre os traços gerais e as práticas recomendadas.

Meu impulso é desativar totalmente o gerenciamento de energia ou permitir o máximo desempenho - mas, é claro, a desvantagem disso é pagar pelos watts quando não os estou usando.

O gerenciamento de energia da CPU do Linux é bom o suficiente neste ponto que um BIOS amigável de refrigeração e energia do aterramento e do datacenter ainda me permitirá tirar o máximo de potencial do meu cluster do Hadoop?

Ou eu deveria apenas jogar old-school e desativar o gerenciamento de energia?

    

Answer 1

Eu não posso dar uma resposta autoritária para este (nem um especificamente sobre o Hadoop), mas darei a você o que eu considero ser a melhor prática.

Essa pergunta parece mais direcionada ao hardware do que a específica do Hadoop, devo dizer.

Sinceramente, se você tiver uma carga flutuante, eu desabilitaria o gerenciamento de energia do BIOS e o colocaria para ficar sempre no clock das ações, confiando na escala de frequência da CPU docpupower do Linux para reduzir o uso de energia (mas não apenas sob carga). Eu então configuraria o controlador da cpower para 'ondemand'. Isso significa que ele é dimensionado para o clock de estoque normal quando necessário, mas reduz a frequência da CPU (e, portanto, o consumo de energia) quando não está sob carga.

Isso porque o cpupower, sendo um utilitário de software integrado ao kernel, pode tomar melhores decisões do que o dimensionamento da BIOS, já que ele tem acesso a mais fluxos de informações. O firmware só pode ler o que está acontecendo no nível do hardware, enquanto o cpower pode pesquisar informações do firmware, além de ler informações do kernel.

    

Answer 2

Acho que o melhor será se você desativar o gerenciamento de energia do BIOS. Você pode no linux usar alguns governadores; esse trabalho para mim é bom, e o ondenmand do governador automaticamente aumentará e diminuirá a frequência da CPU quando necessário.