O que é uma solução fácil para distribuir comandos / tarefas em uma rede Linux? [duplicado]

Question

Aqui está a situação:

• Temos um laboratório que consiste em quinze máquinas quad-core, cada uma executando o Ubuntu Linux.
• Existe um software de codificação de vídeo que preciso executar, mas um trabalho (por exemplo, um vídeo com uma configuração) demora muito tempo (poucas horas).
• Existem cerca de tantas configurações quanto máquinas (cerca de 15) e cerca de 20 vídeos.

Então, pensei em ter os vídeos acessíveis por meio de um armazenamento centralizado, mas deixei que cada máquina executasse o processo de codificação.

Na sua forma mais básica, o comando usado é algo como isto

./encode -d default.conf -f local.conf -i inputFile.yuv

Agora, a pergunta é: existe algum software que eu possa usar para implantar facilmente essas tarefas nas máquinas do laboratório? Eu estava pensando em:

• Ter um mestre que envia trabalhos, por exemplo "Diga à máquina 1 para executar /home/user/encode -i input1.yuv , depois /home/user/encode -i input2.yuv , et cetera"
• Ser capaz de ver qual nó está trabalhando atualmente em qual tarefa e por quanto tempo
• Ser capaz de interromper uma tarefa ou tentar novamente após uma falha

Eu não estou limitado ao CLI, também poderia ser um aplicativo GUI. Alguma idéia?

    

Answer 1

Considere instalar o TORQUE . Seu agendador não é o melhor disponível, mas é mais do que suficiente para esse tipo de uso. Você pode substituir o agendador com o Maui se precisar dos recursos extras posteriormente.

O único recurso da sua lista que o TORQUE perde é tentar novamente um trabalho automaticamente em caso de falha. Mas você deve ser capaz de fazer o script sozinho no servidor do TORQUE, verificando a saída de seu Comando qstat para saber quais jobs estão sendo executados e o conteúdo de sua pasta de saída para saber o que foi concluído.

    

Answer 2

E se você precisar de uma solução maior com mais opções e recursos, considere o Sun Grid Engine (SGE) agora conhecido como Oracle Grid Engine.

link