Perguntas sobre 'hadoop'

Tags
O Apache Hadoop é uma estrutura de software que suporta aplicativos distribuídos com uso intensivo de dados sob uma licença gratuita. Ele permite que os aplicativos trabalhem com milhares de computadores independentes e petabytes de dados. O Hadoop foi derivado dos documentos MapReduce e Google File System (GFS) do Google.
3
respostas

Hadoop movendo dados para outro usuário

Tenho algumas centenas de GB em meus hdfs para userA (configuração de nó único). Eu gostaria de transferir todos os dados para userB, que será mais apropriado para a configuração de vários nós que estou configurando. Eu tentei o seguinte sem...
29.05.2011 / 23:13
2
respostas

Qualquer bom método para montar o Hadoop HDFS de outro sistema?

Eu quero montar o Cloudera Hadoop como um sistema de arquivos Linux pela LAN. Como configuração, eu já tenho o cluster hadoop rodando em um conjunto de máquinas Ubuntu. Mas agora eu preciso ser capaz de usá-lo como um sistema de arquivos norm...
15.08.2009 / 06:56
0
respostas

Hadoop Streaming com Python 3.5: java.lang.RuntimeException: PipeMapRed.waitOutputThreads (): subprocesso falhou com o código 127

Estou tentando executar meus próprios scripts Python de mapeamento e redutor usando o Hadoop Streaming no meu cluster criado em VMs VMware Workstation. Versão do Hadoop - 2.7, Python - 3.5, OS - CentOS 7.2 em todas as VMs. Eu tenho uma máq...
08.10.2016 / 07:28
0
respostas

Implementação do AWS-Hadoop Data Analytics para vários arquivos JSON

Eu sou novo no hadoop e na AWS. Eu configurei o cluster AWS EC2 de vários nós (4 instâncias t2.large) com a distribuição cloudera Hadoop. Eu testei o ambiente com exemplos básicos usando arquivos CSV, como contagem de palavras. Agora, meu pro...
05.10.2016 / 17:18
0
respostas

O índice de localidade do bloco Hbase é sempre 0

Eu tenho uma configuração do Hbase (v 0.94.19 com Hadoop 1.2.1) com uma máquina mestre e dois servidores de região. Cada servidor de região tem um heap de 16 GB (cache de 6.4 GB, memstore de 4.0 GB) e um espaço em disco SSD de 1.6 TB (2 X 800 GB...
11.06.2014 / 06:39
0
respostas

Encontre um erro quando o configuer secure hadoop: org.apache.hadoop.security.AccessControlException

Eu tento configurar o hadoop seguro com kerberos. Eu iniciei o servidor KDC, gerado e copiei o keytab relacionado ao nó correspondente. kerberos podem funcionar normalmente (use kinit) mas quando eu tento iniciar o namenode, eu encoupo um erro e...
16.03.2014 / 06:12
1
resposta

Hadoop - Qual é o propósito dos scripts / usr / sbin / shell?

Estou instalando o Hadoop 1.1.2 no CentOS 6.4. Eu li toda a documentação do Hadoop no link Após a instalação, notei que existem muitos scripts de shell em / usr / sbin /. Mas a documentação não explica o que a maioria deles faz. Por e...
26.06.2013 / 20:43
4
respostas

Discos para hadoop, o que você recomendaria? [fechadas]

qual é a sua recomendação sobre discos para o Hadoop? Você recomenda o uso do SAS ou apenas conecta o disco ao SATA? Ou talvez mais alguma coisa? Quais são os prós e contras de todas as opções? (Decisão sobre o tamanho do disco foi feita,...
26.07.2010 / 07:56
1
resposta

zfs para a nuvem Hadoop em vez de ext4 [closed]

Agora eu tenho alguns linodos com ext4. Eu tenho uma configuração de hadoop. Qual o benefício que eu obteria se migrasse meu sistema de arquivos do ext4 para o zfs. Haverá algum benefício nos tempos de resposta? Qualquer otimização de velo...
20.04.2016 / 08:01
2
respostas

“/ usr / bin / env: bash: Nenhum tal arquivo ou diretório” durante o comando puppet exec

Estou dando meus primeiros passos no fantoche. Estou tentando configurar o ambari . Esta é a minha configuração de fantoches: exec { "ambari-repo": command => "curl http://public-repo-1.hortonworks.com/ambari/suse11/1.x/updates/1.4.4...
24.03.2014 / 19:38