HPC / EC2 - otimizando o NFS para confiabilidade

1

No AWS-EC2, eu configurei um cluster de máquinas virtuais Linux feito de um servidor de arquivos NFS e muitos clientes. Se o número de clientes estiver acima de ~ 20, sob E / S pesada, estou com perda de integridade do arquivo: por exemplo, arquivos gzipados escritos por um cliente no servidor estão corrompidos.

Eu estou querendo saber qual é o melhor conjunto de parâmetros do NFS para aumentar a confiabilidade de transferência de dados neste ambiente.

Por enquanto, os sinalizadores de montagem são:

Flags:  rw,vers=3,rsize=262144,wsize=262144,hard,proto=tcp,timeo=600,retrans=2

O tamanho da MTU é 1500, o número de deamons da NFS é 8.

Devo diminuir o rsize & wsize abaixo de MTU, e aumenta o número de deamons NFS?

Existe mais alguma coisa que possa ser melhorada?

Muito obrigado.

    
por Olivier Delrieu 12.09.2013 / 23:35

1 resposta

0

Para o tamanho do cluster sendo usado, pode ser uma boa ideia considerar a possibilidade de mudar para um sistema de arquivos paralelo como gluster . Como alternativa, se o cluster estiver configurado corretamente, todos os nós devem estar cientes de todos os outros nós, seja por meio do DNS ou por consultas a /etc/hosts , e devem ter as chaves ssh apropriadas para acessá-los sem uma senha.

Se esse for o caso, cada nó poderia simplesmente copiar os arquivos após a conclusão da computação / compactação, o que negaria a necessidade do NFS. Embora esta solução provavelmente não proporcione um desempenho ideal, dependendo da natureza da virtualização de nós de computação, rede e armazenamento, pode ser uma boa opção.

Que tipo de sistema de gerenciamento de cluster / provisionamento você está usando? Normalmente, durante a configuração de um nó principal, o armazenamento compartilhado apropriado para nós de computação também é configurado. Usando uma ferramenta como Warewulf ou ROCHAS pode ajudar a garantir que os nós de computação sejam provisionados corretamente e seus muitos guias e projetos de referência para configurar clusters com essas ferramentas disponíveis on-line.

    
por 15.07.2015 / 17:45