big data + qual é o sistema de arquivos correto ext4 ou xfs?

Question

Nós temos o Linux Redhat versão 7.2, com o sistema de arquivos xfs.

from /etc/fstab

/dev/mapper/vgCLU_HDP-root /                       xfs     defaults        0 0
UUID=7de1ab5c-b605-4b6f-bdf1-f1e8658fb9 /boot                   xfs     defaults        0 0
/dev/mapper/vg
/dev/mapper/vgCLU_HDP-root /                       xfs     defaults        0 0
UUID=7de1dc5c-b605-4a6f-bdf1-f1e869f6ffb9 /boot                   xfs     defaults        0 0
/dev/mapper/vgCLU_HDP-var /var                    xfs     defaults        0 0 var /var                    xfs     defaults        0 0

As máquinas são usadas para clusters de hadoop.

Eu só estou pensando qual é o melhor sistema de arquivos para esse propósito?

Então, o que é melhor EXT4 ou XFS em relação a essas máquinas que são usadas para cluster de hadoop?

    

Answer 1

Isso é abordado em este artigo da base de conhecimento ; A principal consideração para você será os níveis de suporte disponíveis: Ext4 é suportado até 50 TB, XFS até 500 TB. Para dados realmente grandes, você provavelmente acabaria analisando o armazenamento compartilhado, que, por padrão, significa GFS2 no RHEL 7, exceto pelo Hadoop que você usa o HDFS ou o GlusterFS.

Para armazenamento local no RHEL, o padrão é XFS e você deve geralmente usá-lo, a menos que tenha razões específicas para não fazê-lo.

    

Answer 2

O XFS é um sistema de arquivos incrível, especialmente para arquivos grandes. Se sua carga envolver muitos arquivos pequenos, a limpeza de qualquer fragmentação periodicamente poderá melhorar o desempenho. Eu não me preocupo com isso e uso o XFS para todas as cargas. É bem suportado, então não há razão para não usá-lo.

Separe uma máquina e um disco para testar seus próprios sistemas de arquivos, se quiser descobrir o que é melhor para sua carga de trabalho típica. Trabalhar com a carga de teste em etapas em todo o disco pode dizer algo sobre como o sistema de arquivos sendo testado funciona.

Testar sua carga na sua máquina é a única maneira de ter certeza.