Vários servidores agindo como um único com todo o hardware? [fechadas]

Question

até agora eu tenho 10 servidores para hpc, computação de potência orientada. Meus usuários precisam iniciar vários processos usando o qmake. Os usuários estão acostumados a trabalhar com o Ubuntu 9.10, e o software dos repositórios é flexível para eles.

Eu implementei o ubuntu 9.10 para todos os 10 servidores (pxe rocks).

Até agora trabalhamos com o ssh-paralelo e o cluster-ssh, que permite lançar o mesmo processo para todos os servidores. Com essas ferramentas, os servidores permanecem como independentes, mas com o mesmo software e o mesmo comando lançado.

Agora gostaríamos de ir para a próxima etapa e ver todos os servidores como um único com todos os recursos dos outros 9 como se fossem seus recursos.

A diferença seria substancial na hora de processar e também de tempo para projetar o comando para o lançamento.

Algum conselho sobre qual software usar será muito útil?

Obrigado

    

Answer 1

O que você está falando se chama Single System Image (SSI) . A variante mais comum deste esquema para o Linux é implementada por MOSIX . Embora forneça algumas vantagens em termos de gerenciamento do sistema, em geral, os processos não podem se estender por vários nós sem usar alguma forma de MPI . Basicamente, se você usa ou não um cluster "padrão" em execução no gridengine ou forma seus sistemas em uma única imagem, ainda será necessário modificar todo o software para poder abranger vários nós.

    

Answer 2

Um cluster não é uma única máquina; a localização de memória / fs é importante para o desempenho.

Fazer coisas no nível do aplicativo, embora menos geral, é mais eficiente em termos de recursos. Seu exemplo de qmake pode ser acelerado significativamente configurando o distcc.

    

Answer 3

no final, usei o Sun Grid Engine.

Eu tenho documentado em um wiki privado e recortado e colado no meu blog. Eu acho que pode ser útil mesmo sem tradução. ;)

Entrada de blog: link

Se alguém quiser o código wiki, basta perguntar aqui.

Obrigado.

    

Answer 4

Eu nunca implementei um antes, mas parece que um cluster do Beowulf funcionaria para o que você está tentando fazer. Já fiz muita leitura sobre isso no passado e, para alguns processos mais simples, pode haver pouca necessidade de recodificação, dependendo do que você está tentando alcançar.