Que sistema de arquivos devo usar para uma grande quantidade de espaço em disco no Linux (32TB)?

Question

Eu estou tentando fazer um grande sistema de arquivos no linux, mas tive problemas com muitos sistemas de arquivos comuns.

• O JFS tem um bug que não permite expansão acima de 32 TB.
• O XFS tem um bug no fsck que faz com que a máquina use toda a memória disponível e trave ao executar o fsck em um disco que tenha uma grande quantidade de dados (~ 20TB).
O
• EXT4 está limitado a 16 TB devido a um problema com o e2fsprogs.
• O BTRFS será legal, mas atualmente eles não têm um fsck, o qual eu precisarei.

Alguma outra ideia?

    

Answer 1

Pode não ser tão rápido quanto os outros, sendo apenas um sistema baseado em fusível de usuário no Linux, mas o ZFS pode se encaixar no projeto ...

The name originally stood for "Zettabyte File System". The original name selectors happened to like the name, and a ZFS file system has the ability to store 2⁵⁸ zettabytes, where each ZB is 2⁷⁰ bytes.

O ZFS é um sistema de arquivos de 128 bits, portanto, ele pode endereçar 1,84 × 10 ¹⁹ vezes mais dados que os sistemas de 64 bits, como o NTFS. As limitações do ZFS são projetadas para serem tão grandes que nunca seriam encontradas. Alguns limites teóricos no ZFS são:

• 2 ⁴⁸ - Número de entradas em qualquer diretório individual
• 16 exabytes (16 × 10 ¹⁸ bytes) - Tamanho máximo de um único arquivo
• 16 exabytes - Tamanho máximo de qualquer atributo
• 2 ⁵⁶ zettabytes (2 ⁷⁸ bytes) - Tamanho máximo de qualquer zpool
• 2 ⁵⁶ - Número de atributos de um arquivo (na verdade restrito a 2 ⁴⁸ para o número de arquivos em um sistema de arquivos ZFS)
• 2 ⁶⁴ - Número de dispositivos em qualquer zpool
• 2 ⁶⁴ - Número de zpools em um sistema
• 2 ⁶⁴ - Número de sistemas de arquivos em um zpool

Há quem diga que não há átomos suficientes na crosta terrestre para tornar uma matriz de armazenamento de arquivos grande o suficiente para exceder as limitações do ZFS.

    

Answer 2

O ZFS é uma solução possível, mas atualmente também é possível usar sistemas de arquivos que você excluiu no início

• ext4: petabyte filesystemd não deve ser um problema nas versões recentes do e2fsprog e do kernel
• O btrfs: funciona btfsck e também pode ser dimensionado para tamanhos grandes.