Em que carga de trabalho é necessário um sistema de arquivos paralelo (de rede)?

Question

Quaisquer números concretos, ou regras-de-thumgs, para qual carga de trabalho (por exemplo, em termos de usuários ativos simultaneamente executando trabalhos de centro HPC médios) em um cluster de computador, que faria um sistema de arquivos compartilhados em rede paralela como Lustre, GPFS , Ibrix ou Panasas, um requisito?

... ou seja, quando um armazenamento SAN compartilhado pelo NFS não é mais suficiente, e você precisa de algum tipo de paralelismo NAS?

EDITAR: Adicionado "NFS compartilhado" antes de "SAN".

    

Answer 1

Primeiro, não há nenhuma "média" em HPC que eu saiba - tive o prazer de trabalhar em três ambientes de HPC, e todos os três tiveram dinâmicas bastante diferentes (nos termos clássicos de modelagem de gargalo, um era limite de disco, um foi limitado pela CPU e um foi limitado pela memória). Isso leva diretamente à minha resposta à sua pergunta: você precisa de "algum tipo de NAS paralelo" quando estiver com o disco vinculado ao ponto em que isso afeta o desempenho. Você saberá que este é o caso quando você não pode mais manter todas as suas CPUs saturadas (e você ainda tem RAM livre, ou alguns nós estão completamente ociosos esperando no disco).

Se o seu sistema de armazenamento atual tiver recursos de monitoramento de desempenho, você poderá observar suas estatísticas e planejar tomar medidas quando chegar a dizer 66% ou 75% dos valores máximos de desempenho, mas não há uma regra rígida que diga "X nós, tarefas Y - agora você precisa implantar o GPFS. "

    

Answer 2

Você está comparando maçãs e laranjas. Uma SAN fornece volumes lógicos - não sistemas de arquivos. Se você tiver mais de um sistema tentando montar o mesmo volume lógico que pode ser gravado (ou seja, mesmo com o tempo de acesso ativado), será necessário um sistema de arquivos que suporte o acesso simultâneo.

Normalmente, o termo NAS é aplicado a um sistema que fornece serviços de compartilhamento de arquivos, como NFS ou SMB, o que torna o uso de um sistema de arquivos em cluster redundante (somente o controlador acessa diretamente o sistema de arquivos). No entanto, o termo às vezes é aplicado ao protocolo iSCSI - caso em que o dispositivo está se comportando como uma SAN.