O Hadoop se beneficiará de apenas um disco?

Question

Se eu usar uma configuração de nó único com Hadoop , onde tem apenas um disco, posso usá-lo facilmente para brincar com Hadoop e outras coisas, mas haverá realmente algum benefício em usar Hadoop neste caso sobre outro paradigma (processando em Python sem usar mapreduce, etc.)

    

Answer 1

O poder do Hadoop vem do fato de ele usar um sistema de arquivos distribuídos (HDFS) e um modelo de programação distribuída (MapReduce). O processamento não pode ser paralelizado em um cluster de nó único com um disco, portanto, devido a overhead do Hadoop - paradigmas mais simples provavelmente serão mais rápidos.

Mesmo ao usar um cluster completo, você não verá o benefício do Hadoop se o conjunto de datas for muito pequeno ou se o algoritmo não for adequado para o processamento distribuído (por exemplo, encontrar um valor mediano).

    

Answer 2

O Hadoop é completamente baseado no sistema de arquivos distribuídos (HDFS), e o poder real está aqui.

Mas, ao mesmo tempo, é importante aprender a estrutura e entender seus componentes. Essa é a razão pela qual o Hadoop fornece 3 modos de instalação.

Respondendo à sua pergunta exata, o disco único não se beneficia da parte HDFS do hadoop. Mas, novamente, ajudará a entender o Componente MapReduce do Hadoop.

Se você tem um sistema de configuração goof, eu sugiro que você vá para a configuração do Pseudo Cluster, tendo duas máquinas virtuais interagindo com outras.