Qualquer bom método para montar o Hadoop HDFS de outro sistema?

Question

Eu quero montar o Cloudera Hadoop como um sistema de arquivos Linux pela LAN.

Como configuração, eu já tenho o cluster hadoop rodando em um conjunto de máquinas Ubuntu. Mas agora eu preciso ser capaz de usá-lo como um sistema de arquivos normal de um sistema Fedora pela LAN.
Eu tentei FUSe, mas duas coisas:
1. Cloudera diz que o FUSE perde dados (clique aqui para o comentário feito por um funcionário da Cloudera no site de suporte oficial da Cloudera)
2. Não tive sucesso fazendo com que funcionasse da maneira que queremos

Como ponto de esclarecimento, estou usando o Hadoop SOMENTE para o sistema de arquivos, não para seus outros recursos.

    

Answer 1

O FUSE é realmente sua única opção para montar sistemas de arquivos exóticos como o HDFS. Para minhas próprias necessidades, descobri que usar a API Java diretamente era uma opção muito melhor que uma FS montada.

Infelizmente, as APIs do cliente HDFS para idiomas diferentes de Java não existem ou são muito feias (como dependendo do JNI).

Esta página tem informações interessantes sobre as várias opções disponíveis para você. Se, de alguma forma, você conseguir fazer o FUSE funcionar, poderá exportar o ponto de montagem resultante usando o NFS para outras máquinas que precisam usar o mesmo HDFS. Isso obviamente carrega os mesmos riscos e desvantagens de qualquer configuração do NFS.

Com relação às APIs, aparentemente há uma interface Thrift, FWIW. Veja aqui para mais informações.

    

Answer 2

O HDFS não é realmente um sistema de arquivos de primeira classe. Como tal, montá-lo via FUSE ou qualquer coisa semelhante é susceptível de levar a uma frustração real por causa da falta de atualização do arquivo.

Você pode falar mais sobre suas necessidades? Por que não apenas usar o MapR (veja mapr.com)? O MapR fornece suporte NFS de primeira classe para o sistema de arquivos em cluster, mantendo a compatibilidade total com o Hadoop.