Formas de instalar programas em grandes clusters

Question

Para o meu estágio, atualmente estou configurando um cluster de laptops para executar aplicativos CFD usando o OpenFOAM. Até agora, configurei o SSH-client e o NFS no mestre e nos nós. Eu testei ambos ssh e minha pasta compartilhada, e ambos funcionam bem.

No entanto, gostaria de poder instalar e modificar programas somente no mestre e deixar que os nós usem os programas de lá.

Acabei de instalar o OpenMPI e o OpenFOAM na pasta compartilhada masters e editei os caminhos no script masters .bashrc de acordo.

1. Isso parece ser uma maneira viável de resolvê-lo? Eu sinto que instalar o OpenMPI dessa maneira foi um passo ousado.

2. Preciso modificar o script .bashrc em cada um dos nós para que isso funcione corretamente?

3. A instalação de programas na pasta compartilhada estende o tempo computacional em comparação à instalação do OpenMPI e do OpenFOAM em cada nó?

4. Idéias alternativas de maneiras de configurar rapidamente um grande cluster sem muito trabalho em cada nó seriam muito apreciadas.

E não, não posso usar o clustering do Rocks, pois o cluster que estou construindo consiste em laptops com apenas 1 porta Ethernet cada. Existe alguma alternativa boa?

    

Answer 1

Se você está aberto para instalar o software nos clientes (laptops) e não apenas no mestre, existem algumas soluções de automação de TI que você pode experimentar.

Para instalar rapidamente o software em uma ampla variedade de máquinas, você pode usar Ansibe ( aqui é um tutorial). Como você já configurou o SSH, isso deve ser relativamente fácil. Uma grande vantagem dessa abordagem é que você não precisa efetuar login em todos os clientes; você pode fazer todo o trabalho de um sistema.

Você também pode tentar o Puppet , que é uma ferramenta de gerenciamento de configuração (consulte aqui para um tutorial). Isso ajudará você a garantir que todas as configurações sejam compartilhadas entre as máquinas. Note que o Puppet não é tão fácil de configurar e pode ser um exagero para este caso.