Vá para o ZFS. Se você quiser, o Debian ZoL é seu melhor amigo.
Nosso antigo sistema RAID6 de 32 TB (capacidade líquida: 26 TB) está mostrando sua idade e requer uma atualização, então estamos pensando em construir um novo sistema de 100 TB.
O armazenamento é usado principalmente para a diretora doméstica do usuário, para compartilhar dados do projeto (trabalhando com mídia, para que os projetos possam chegar a 1TB) e para
O armazenamento antigo é anexado a um host Debian via iSCSI; o servidor de arquivos exporta os dados via NFS (para os hosts un * x) e SMB (para W32).
Por razões práticas, gostaríamos de manter isso.
No passado, descobrimos que os dados do projeto aumentavam com finalidades inesperadas, por isso usamos um conjunto de armazenamento plano onde todos os projetos (e home dirs) estão localizados no mesmo sistema de arquivos (em vez de pré-alocar uma certa quantidade de capacidade de armazenamento para um determinado projeto e, em seguida, ter que realocar ao atingir limites).
Embora essa seja uma solução simples e flexível, lembro de ter atingido algumas limitações, mesmo com a configuração antiga. A maior partição no antigo sistema RAID é 20 TB, porque xfs não me permite criar um sistema de arquivos maior (na época, não falar sobre ext4 ; e eu realmente não considero zfs ou btrfs - e ainda não o fazem).
Como eu não acompanhei particularmente o progresso recente no armazenamento, estou um pouco perdido com as melhores práticas atuais na criação de tais armazenamentos de tamanho médio: JBOD, LVM, RAID, sistemas de arquivos distribuídos; empilhando em qual? Alguns blogs sugerem que RAID6 é de qualquer forma obsoleto , mas o que são as alternativas?
Meus requisitos são:
iSCSI
escalonável: idealmente esse sistema permitiria o crescimento (por exemplo, eu começo com 70TB e depois compro discos em movimento até atingir a capacidade total, e a pilha se expande: o sistema de arquivos cresce e os dados ainda são armazenados redundantemente, espero que sem ter um punhado de sistemas RAID6 separados).
Vá para o ZFS. Se você quiser, o Debian ZoL é seu melhor amigo.
O RAID 6 está longe de ser obsoleto - o RAID 5 é, no entanto. Eu não sou um fã de armazenamento de controlador único, único ponto de falha que você vê, mas se você está feliz com isso, em seguida, por todos os meios continuar com algo semelhante ao que você tem agora. Claro que o que você pode optar por ir agora é alguma forma de front-end baseado em flash - seja através de cache ou camadas - depende de onde você quer fazer o RAID real - eu gosto de controladores de hardware, você não pode. De qualquer forma, se você puder chegar a um ponto em que 90% do seu IO esteja vindo de / para flash (SSD / NVME, etc.), seus usuários ficarão muito felizes.