Sua opção mais fácil é usar o XFS. Muitas das más experiências em torno do XFS são baseadas em versões antigas e problemas de hardware de desktop que eu não acho que sejam realmente relevantes para novas implantações em hardware de servidor de qualidade padrão. Escrevi uma postagem no blog sobre esse assunto que pode ajudá-lo a resolver a situação atual. Existem várias instalações ocupadas de banco de dados XFS com centenas de usuários e terabytes de dados que eu ajudo a gerenciar. Eles estão todos no kernel do Debian Lenny (2.6.26) ou posterior e eu não tenho ouvido nenhuma pista sobre eles há anos. Eu não usaria o XFS com nenhum kernel anterior a isso. Eu ouvi alguns relatos diretos de pessoas vendo comportamento estranho do XFS ainda quando o sistema fica sem memória ou espaço em disco; Eu ainda não vi isso mesmo.
A única outra opção razoável é usar ext4 com algum hacking para suportar sistemas de arquivos maiores. Eu não esperaria que tivesse um nível de confiabilidade muito diferente. Eu tive que recuperar dados de vários sistemas ext4 quebrados que funcionavam em bugs do kernel, até agora todos os arquivos fixos no upstream, mas não no kernel do distribuidor naquele momento. O ext4 tem seu próprio conjunto de problemas de metadados, como perda de dados de alocação atrasada , coisas que eram menos prováveis de acontecer no ext3. Eu estimaria que as probabilidades de você acertar um bug ext4 seriam ainda maiores do que o normal se você for forçar o limite de tamanho normal, simplesmente porque parece mais provável que você esteja atingindo um caminho de código novo menos bem testado em algum momento .
A ideia alternativa é simplesmente usar o ext3 mais seguro e chato, aceitar o limite de 16 TB e particionar melhor as coisas, para que nenhum sistema de arquivos único tenha que ser tão grande.
Um final solto relacionado a questões de periódicos. Você não falou sobre como todas essas unidades serão conectadas. Certifique-se de entender a implicação de qualquer cache de gravação que esteja em sua cadeia de armazenamento aqui. Desabilite ou verifique se o sistema de arquivos está esvaziando o cache. Eu escondi alguns recursos sobre isso em Gravações Confiáveis se isso não for algo que você está verificando ainda.
Drives sugam. Matrizes de RAID são ruins. Sistemas de arquivos são uma droga. Múltiplas falhas acontecem. Fico feliz em ver que você já está pensando em backups; ir de boa para grande confiabilidade no armazenamento requer mais do que apenas RAID e algumas unidades sobressalentes. A redundância custa algo em todos os níveis, e o dinheiro para hardware versus complexidade de software é difícil de navegar. E observe suas expectativas de desempenho. Embora uma matriz RAID como a que você está considerando faça facilmente centenas de MB / s, bastam dois leitores simultâneos que buscam o disco constantemente para soltar isso em apenas alguns MB / s. Eu posso facilmente esmagar um array RAID10 de 24 discos de tal forma que ele só ofereça < 5MB / s contra uma carga de trabalho de referência . Uma coisa que ajuda é certificar-se de ajustar a leitura para cima se vários leitores de streaming forem possíveis.