Melhor tipo e configuração do sistema de arquivos subjacente para o HDFS

Question

Eu gostaria de reformatar uma partição de unidade local e transformá-la em uma partição para o HDFS. Qual sistema de arquivos teria mais desempenho para executar o HDFS em cima disso? Quais as otimizações que eu deveria tomar para este sistema de arquivos?

Este é um Ubuntu 14.04

    

Answer 1

Aqui estão as melhores práticas:

Melhores práticas

Resumo executivo:

• ext3 é mais testado e confiável
• ext4 / xfs são menos testados, mas oferecem benefícios de desempenho

Answer 2

Eu não recomendaria ext3. Tem problemas de fracionamento.

Dado que o HDFS normalmente opera com arquivos enormes em cima de um sistema de arquivos OS, o ext4 será uma opção muito melhor. O ext4 organiza o espaço em extensões contíguas (blocos de blocos adjacentes). Portanto, há muito menos sobrecarga de mapear blocos minúsculos em blocos enormes. O ext4 também é menos suspeito de fragmentação.

Embora o XFS pareça ter recursos semelhantes aos do ext4, meus testes (embora não para cargas de trabalho hdfs) mostram que ele está incorrendo em ext4 em alguns cenários (como excluir muitos arquivos, etc.).

Embora seja recomendado ter um espaço reservado para o ext3 ter menos fracionamento. Por padrão é 5%, veja

sudo tune2fs -l /dev/sdb1 | grep 'Reserved block count'

Então você perde 5% do espaço do HDFS ali mesmo. Para o ext4, você pode colocar um espaço reservado para 1% ou até 0% (desligue se estiver desligado).

Você não pode estar errado com o ext4 para o HDFS.

Algumas outras opções recomendadas para o ext4:

• -noatime (opção de montagem)
• -tune2fs (para desativar os blocos reservados)

Alguém também recomenda desligar a alocação atrasada no ext4, mas eu não faria isso sem alguns testes.