Gerenciamento de nó de cluster HPC baseado em WEB

Question

Estou trabalhando na minha tese de diploma escolar. O objetivo principal é criar aplicativos baseados na web onde os usuários logados podem ver nós livres e ocupados, ligá-los e desligá-los, ver qual processo eles estão rodando, etc. Descobri que eu poderia fazer algo assim - escrever algum daemon cron que rodasse a cada 30 segundos ou mais, e poderia executar o utilitário ping para cada nó para descobrir se está ativado ou desativado, e depois gravar os resultados em algum arquivo. Então, do meu aplicativo da web (vou escrever em PHP) eu poderia ler as informações. Será uma boa solução? Como você me sugere para fazer isso? E, finalmente, existe alguma solução existente (pode não ser definitivamente baseada em ewb) para gerenciamento de nós de cluster?

    

Answer 1

No passado, eu usava o Ganglia para disponibilidade de nós e monitoramento de carga. Não lhe dirá quais trabalhos estão sendo executados, mas mostrará a integridade de seu cluster.

Nagios é outra coisa que eu usei com meus clusters, no entanto, é um pouco mais do que apenas o monitoramento de cluster. Ele pode monitorar processos, espaço em disco, memória e qualquer coisa que você possa criar scripts ou encontrar um script. Isso também é baseado na web.

Quanto aos job schedulers, há algumas opções dependendo de como você gostaria de configurar as coisas. As opções incluem, mas não estão limitadas a: OpenPBS, TORQUE, PBSPro, Agendador de Clusters Maui, SLURM, Sun Grid Engine. Estes são todos os que eu sei que os centros estão usando atualmente para agendamento de HPC. A Wikipédia tem uma lista, mas eu não acredito que todos os que estão listados sejam para agendamento de HPC. link

Sites:

Ganglia link

Nagios link

    

Answer 2

Confira o DRMAA . É uma API geral para envio e controle de trabalhos que está se tornando o padrão entre os gerenciadores de carga de trabalho. No que diz respeito ao controle dos nós, isso depende muito do sistema que você está usando. A maioria tem algum tipo de API que você pode usar para interagir com eles e realizar as mesmas operações que você faria com as ferramentas de linha de comando.

Seu projeto parece interessante, desejo-lhe boa sorte.