Estou no campo da ciência da computação e faço pesquisas em bioinformática. Atualmente 746 em Biostars :)
Eu tenho operado as instalações de computação de bioinformática por 3 anos em uma universidade (cerca de 40 servidores Linux, 300 CPUs, 100TB de espaço em disco + backups, cerca de 1T total de RAM - servidores com 16 a 256GB de RAM). Nosso cluster tem 32 nós de computação de 8 núcleos, 2 nós principais e estamos expandindo-o com mais 2 nós de computação de 48 núcleos. Nós servimos os arquivos para os nós de computação sobre o NFS.
Eu recomendaria mudar para o NFS para sua situação.
Consideramos mudar para Gluster, Lustre e Samba, mas decidimos não usá-los.
NFS
Eu tenho algumas dicas importantes sobre o NFS:
- Tenha um servidor NFS dedicado. Dê 4 núcleos e 16 GB de RAM. Um servidor dedicado é mais seguro e mais fácil de manter. É uma configuração muito mais estável. Por exemplo, às vezes você precisa reinicializar o servidor NFS - um servidor dedicado não irá falhar no seu disco acessando cálculos - eles simplesmente congelarão e continuarão assim que o servidor NFS voltar.
- Sirva apenas para os nós de computação e cabeça. Nenhuma estação de trabalho Nenhuma rede pública.
- Use o NFS versão 3. Da minha experiência, o NFSv4 era mais frágil - mais travamentos - mais difícil de depurar. Nós trocamos o cluster do NFSv3 para o NFSv4 e voltamos várias vezes antes de nos estabilizarmos. É uma rede local para que você não precise da segurança (integridade e / ou privacidade) do NFSv4.
Hardware de armazenamento
Nosso cluster atual foi comprado há três anos, por isso não está usando o SAS, mas tem unidades expansivas FibreChannel e san controladores. Isso está mudando, todo o novo armazenamento que estamos comprando é o SAS.
Eu sugiro considerar um armazenamento SAS . O SAS está substituindo o FibreChannel como uma solução mais barata, mais rápida e melhor. Recentemente fiz pesquisas sobre as diferentes soluções oferecidas. Convenientemente, as opções que analisamos estão documentadas de falha do servidor: Quais são as opções de armazenamento externo SAS (Promise, Infortrend, SuperMircro,. ..)?
Recentemente, encomendamos um sistema de armazenamento SAS de 6 Gb SAS - 6 Gb 24TB da RAID Incorporated. Apenas para o armazenamento pagamos US $ 12k. O pedido deve vir em algumas semanas. Este é um sistema sem ponto único de falha - todos os componentes são redundantes e failover automaticamente se algum componente falhar. Está ligado a 2 servidores, cada um usando uma partição diferente da matriz. É uma solução pronta para uso, portanto, uma vez enviada, basta conectá-la, ligá-la e ela funcionará (as partições RAID6 serão montadas no Linux). O pedido também incluiu servidores e o RAID Incorporated está instalando o Linux Debian neles sem nenhum custo extra.
Outras considerações
Infelizmente, se você faz operações de infra-estrutura de bioinformática, provavelmente precisará se tornar um guru de armazenamento.
Para sua partição de 10 TB, escolha unidades RAID6 - 2 que podem falhar sem perder seus dados. Recriar uma unidade de 2 TB em um hot spare leva 24 horas, outras unidades podem falhar durante esse tempo. Eu tive 2 unidades falharem simultaneamente em um array de 16 drives.
Considere dedicar um disco para ser um hot spare no array. Quando você tem mais de 16 drives, então eu diria que um hot spare é uma obrigação.
Pense em um plano de ação se o hardware falhar no servidor NFS dedicado. Eu manteria um gêmeo como um nó de computação como um potencial substituto para o servidor NFS original.
Finalmente, devo mencionar que nosso servidor de arquivos está executando o OpenSolaris (parece incomum - eu sei). OpenSolaris (como acabou por nós) tem excelente suporte a hardware de servidor (FibreChannel, IniniBand, ...). A configuração de um servidor NFS leva 1 hora - todos os passos são completamente diretos: instalar os, atualizar através de um NAT, configurar a rede, criar um pool zfs, criar sistemas de arquivos zfs, compartilhar NFS. Sun foi quem desenvolveu o NFS em 1984, não surpreendentemente o OpenSolaris é muito bom em servir o NFS. A principal razão para usar o OpenSolaris foi ZFS - a bom sistema de arquivos para bioinformática . Alguns recursos que gosto:
- Integridade (todas as gravações são de checksum)
- Armazenamento agrupado, instantâneos
- As exportações do NFS são configuradas no sistema de arquivos servido
- Compressão on-line
- Reservas (garantias de espaço)
- Nível de bloco Desduplicação
- Backups eficientes (consulte
zfs send
).
Usar o Linux para o seu servidor NFS seria bom - nesse caso, manter o XFS ou o Ext4.