Fila GNU - alternativas

Question

Eu tentei construir um cluster de grade baseado no CentOS. Todas as máquinas terão uma estrutura um pouco semelhante (algumas com mais processadores do que outras) e eu só precisarei enviar trabalhos para uma fila e depois executar nos nós disponíveis. Um trabalho por CPU e o restante fica na fila de espera.

John T tem sido excepcionalmente útil , apontando-me em Gnu Queue que parece ser um sucesso no que eu finjo (os trabalhos serão essencialmente scripts de banho). Ainda estou estudando o assunto antes de aceitar sua resposta, mas estou pedindo à comunidade algum feedback, já que o site do Gnu Queue parece indicar que o projeto está morto há vários anos.

Eu também dei uma olhada no Sun Grid Engine e também parece um candidato para o trabalho, infelizmente A Oracle agora está eliminando o projeto e o Univa ainda está para liberar seu port.

Eu só quero começar com o pé direito, então minha pergunta seria, você já teve alguma experiência prática com esse tipo de clustering (grid computing). Quais seriam suas recomendações?

Obrigado antecipadamente.

    

Answer 1

Se você não precisa de um sistema de enfileiramento real, o paralelo GNU pode ser suficiente para iniciar trabalhos em cada sistema simultaneamente . Se você precisa de um agendador real, então Gerenciador de recursos do TORQUE e, opcionalmente, um agendador como Maui pode ser necessário.

Você também pode estar muito bem em abandonar o CentOS em favor de um CD ao vivo como o PelicanHPC . Pelo menos então, a configuração seria mais simples (pelo menos o que ela pode fazer). Assumindo que você está em uma universidade de algum tipo, não há ninguém lá que faz HPC e / ou clustering? E nenhum corpo docente com contatos em um laboratório nacional ou instalação semelhante que possa oferecer tempo de CPU ao seu projeto?

E esta questão pode ser uma candidata a migrar para o Serverfault.

    

Answer 2

Nós usamos Condor para enfileiramento de trabalho, etc.