Perguntas sobre 'hadoop'

Tags
O Apache Hadoop é uma estrutura de software que suporta aplicativos distribuídos com uso intensivo de dados sob uma licença gratuita. Ele permite que os aplicativos trabalhem com milhares de computadores independentes e petabytes de dados. O Hadoop foi derivado dos documentos MapReduce e Google File System (GFS) do Google.
1
resposta

Implicações de vários nós do JobTracker em um cluster do Hadoop?

Tenho a impressão de que, potencialmente, é possível ter vários nós do JobTracker configurados para compartilhar o mesmo conjunto de nós MR (TaskTracker). Eu sei que, convencionalmente, todos os nós em um cluster do Hadoop devem ter o mesmo conj...
28.08.2012 / 20:33
1
resposta

JAVA_HOME para o Hadoop

Eu quero configurar o hadoop para ser executado no modo pseudo-distribuído. Meus arquivos de configuração: core-site.xml : <configuration> <property> <name>fs.default.name</name> <value>h...
15.10.2011 / 20:04
1
resposta

Problema de permissão de metadados da seção

Estamos recebendo este erro no Hive, enquanto criamos um banco de dados / tabela hive> CREATE TABLE pokes (foo INT, bar STRING); FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Cannot get a con...
11.08.2011 / 14:45
1
resposta

/ usr / bin / env: python2.5: Nenhum arquivo ou diretório

Estou tentando jogar com o Distribution do Cloudera para o Hadoop na minha conta do EC2. Para configurá-lo, estou usando o tutorial THIS . Tudo parece bem, mas quando estou tentando executar hadoop-ec2 Estou recebendo o seguinte erro:...
13.10.2009 / 00:23
2
respostas

podemos misturar valores de MTU em cluster

temos cluster hadoop (todas as máquinas são máquinas de redhat linux versão 7.x) nas máquinas da VM, definimos MTU=8900 e todas as outras máquinas que definimos MTU=9000 definimos a VM MTU=8900 porque vimos alguns problemas de...
25.06.2018 / 14:11
1
resposta

Devo implantar o hadoop em máquinas físicas ou máquinas virtuais?

Vamos implantar um cluster de hadoop em centenas (digamos, 300) de nós x86 físicos. Como não temos muita experiência de implantação de produção, há uma pergunta simples, como o título que queremos ouvir a resposta de caras experientes. Quais são...
23.04.2015 / 10:54
1
resposta

Rhadoop hdfs.init () Erro

Eu instalei recentemente o CDH5.1.0 juntamente com o R 3.1. *, e instalei o rmr2, o rJava e o rhdfs corretamente. (juntamente com os pacotes necessários e definir as variáveis de ambiente necessárias) Após alguns problemas com a instalação de rh...
29.07.2014 / 21:06
1
resposta

Hadoop no Ubuntu - dois diretórios de instalação diferentes?

Eu instalei recentemente o Hadoop 1.0.3 do .deb fornecido pelo Apache. O pacote foi instalado corretamente, mas parece haver dois diretórios que possuem arquivos relacionados ao Hadoop: / usr / share / hadoop possui jars e os arquivos de configu...
22.05.2012 / 20:42
1
resposta

Os scripts do Hadoop {start | stop} -all.sh são normalmente usados com clusters de cloudera 3 e, em caso afirmativo, como?

Eu tenho um cluster em que estou configurando o Cloudera 3, e não está claro se eu deveria estar usando esses scripts de início / parada como eu costumava fazer com a configuração padrão do Apache Hadoop (onde eu tinha um usuário específico cont...
06.09.2011 / 04:53
3
respostas

arquivos Hadoop Rolling Small

Estou executando o Hadoop em um projeto e preciso de uma sugestão. Geralmente, por padrão, o Hadoop tem um "tamanho de bloco" de cerca de 64 mb. Há também uma sugestão para não usar muitos arquivos / pequenos .. Atualmente, estou tendo arq...
16.11.2010 / 04:03