parallel de moreutils é uma ótima ferramenta para, entre outras coisas, distribuir m tarefas independentes uniformemente sobre n CPUs. Alguém sabe de uma ferramenta que realiza a mesma coisa para várias máquinas? É claro que tal ferramenta não precisaria saber sobre o conceito de múltiplas máquinas ou redes ou qualquer coisa assim - estou falando sobre a distribuição de m tarefas em N clusters , onde no cluster i N_i as tarefas são executadas em paralelo.
Hoje eu uso meus próprios scripts BASH para realizar a mesma coisa, mas uma ferramenta mais simplificada e limpa seria ótima. Alguém sabe de algum?
GNU Parallel faz isso e mais (usando ssh).
Ele pode até mesmo lidar com velocidade mista de máquinas, já que ela simplesmente tem uma fila de tarefas, que são iniciadas na lista de máquinas (por exemplo, uma por núcleo da CPU). Quando um trabalho termina, outro é iniciado.
Por isso, não divide os trabalhos em clusters antes de iniciar, mas dinamicamente.
Assista aos vídeos de introdução para saber mais: link