É uma pergunta complicada e provavelmente exigiria algum desenvolvimento de código e pensamento da sua parte e da parte das pessoas para quem você está criando o cluster:
- Quando um nó deve ser desligado?
- Quando deveria ser mencionado?
- Quando o nó é ativado, você tem certeza de que está sincronizado com outros nós (ele precisa de atualizações de software?)
Além de trazer pros, uma boa maneira de economizar um pouco de eletricidade é olhar para alguns dos utilitários de economia de energia disponíveis para o Linux e começar a usá-los. PowerTOP é um bom começo para ver onde você pode economizar. Mais especificamente, coisas como o hdparm podem desativar os discos para você (talvez). Por último, você pode dar uma olhada no cpufreq para definir as velocidades da CPU e diminuir a velocidade para economizar energia quando nada mais estiver rodando. Nem todos os processadores suportam isso, então você pode não escalar tanto assim.
Eu geralmente mantive meu cluster em 24x7 porque ele estava em uso tão alto. Se você está realmente preocupado com o fato de que você não estará com 100% de uso a maior parte do tempo, você pode querer olhar para clusters de nuvens sob demanda, como StarCluster que fornece um cluster pronto de tamanho arbitrário por quanto tempo você quiser.