O Apache Hadoop é uma estrutura de software que suporta aplicativos distribuídos com uso intensivo de dados sob uma licença gratuita. Ele permite que os aplicativos trabalhem com milhares de computadores independentes e petabytes de dados. O Hadoop foi derivado dos documentos MapReduce e Google File System (GFS) do Google.
Ao instalar o Cloudera Manager 4, ele pede a senha root em um usuário sudo sem senha para instalar pacotes.
Esta conta precisa ser mantida ou é apenas para configuração inicial?
Eu segui as instruções aqui para instalar o hadoop no modo pseudo-distribuído.
No entanto, estou com problemas para me conectar ao HDFS.
Quando eu executo este comando:
./hadoop fs -ls /
Eu recebo uma listagem de diretórios exatam...
Estou executando um trabalho do Hadoop (usando o Hadoop 0.20.2) em uma configuração de 6 máquinas; uma máquina é o namenode / node secundário / job tracker (mestre) e as outras 5 máquinas são todas datanodes / tasktrackers (escravas). O trabalho...
Estou planejando configurar um pequeno cluster Hadoop onde os nós escravos são inicializados e executados a partir de um servidor PXE central, para simplificar a implantação e as atualizações, e para permitir que todos os discos dos escravos sej...
Durante a configuração do hadoop, descobri que o script hadoop-config.sh está presente em dois diretórios, bin / e libexec /. Ambos os arquivos são idênticos. Ao olhar para os scripts, descobri que se o hadoop-config.sh estiver presente no libex...
Estou instalando o Hadoop no CentOS 6.4.
Siga estas instruções link
wget http://apache.osuosl.org/hadoop/common/hadoop-1.1.2/hadoop-1.1.2-1.x86_64.rpm
chmod 700 hadoop-1.1.2-1.x86_64.rpm
rpm -Uvh hadoop-1.1.2-1.x86_64.rpm
O Java está l...
Estou analisando arquivos de log do exim e, devido ao meu método de processamento, perdemos a ordem original de todas entradas neste arquivo. Eu reconstruo as transações pelo ID da transação (por exemplo, 1OfiYX-0000Ev-7k ), mas ainda não te...
Estou tentando encontrar uma ferramenta que mostre uma visão geral do meu ecossistema do Hadoop - estado, integridade, execução de tarefas, etc. Tentei usar o Google, mas não o encontrei. Existe alguma ferramenta útil útil?
Eu quero começar o hadoop no meu macbook pro, eu fiz todos os passos que o apache diz. Quando eu uso o comando "bin / start-all.sh", recebo isso:
starting namenode, logging to /Users/alibozorgkhan/Desktop/hadoop-0.20.203.0/bin/../logs/hadoop-...
Eu tenho acesso a um nó de dados em um cluster do Hadoop e gostaria de descobrir a identidade dos nós de nome para o mesmo cluster. Existe uma maneira de fazer isso?