Perguntas sobre 'hadoop'

Tags
O Apache Hadoop é uma estrutura de software que suporta aplicativos distribuídos com uso intensivo de dados sob uma licença gratuita. Ele permite que os aplicativos trabalhem com milhares de computadores independentes e petabytes de dados. O Hadoop foi derivado dos documentos MapReduce e Google File System (GFS) do Google.
1
resposta

Opções de armazenamento adicionais para nós do Hadoop HDFS

Temos um pequeno cluster Hadoop de distribuição Cloudera de produção (14 nós, mas crescendo). À medida que expandimos nosso uso desse cluster, descobrimos que o armazenamento em disco é nosso maior bloqueador e requisito. O uso de RAM e CPU é mí...
16.01.2014 / 19:47
1
resposta

Alterando o ulimit no ubuntu 12.04 Never works

Estou trabalhando com o hadoop e preciso alterar o número de arquivos abertos ulimit -n . Eu tenho visto perguntas semelhantes no stackoverflow e em outros lugares e tentei tudo nessas respostas, mas ainda não funciona. Eu estou trabalhando co...
27.12.2013 / 16:44
0
respostas

Use o Amazon SNS para enviar alertas nagios

Existe alguma maneira de enviar alertas do nagios para o Amazon SNS? Eu tentei seguir as etapas, mas está me dando esse erro no arquivo de log do Nagios: Jul 12 11:38:23 ip-10-134-13-204 nagios3: Warning: Attempting to execute the command...
12.07.2013 / 11:49
1
resposta

O trabalho MapReduce é interrompido após 1 de 5 redutores concluídos no ambiente de nó único

Eu tenho apenas um Data Node no meu ambiente de desenvolvimento no EC2. Fiz um trabalho pesado de RM e em 6 horas notei que 100% dos mapeadores e 20% dos redutores terminaram (1 de redutor mostra 100% de competição, outros - 0%). Parece que o tr...
09.11.2012 / 17:21
1
resposta

Falha no processo de Java (hadoop, hbase)

Sempre que estou executando o processo hadoop / hbase em um prompt de comando, recebo um erro: /usr/local/hadoop/bin/hadoop: line 320: /usr/lib/jvm/jdk1.7.0/bin/java: cannot execute binary file /usr/local/hadoop/bin/hadoop: line 390: /usr/lib...
24.10.2012 / 16:13
1
resposta

hadoop: porta aparece aberta localmente, mas não remotamente

Sou novo no linux e no hadoop e estou com o mesmo problema que em esta pergunta. Acho que entendo o que está causando isso, mas não sei como resolvê-lo (não sei o que eles querem dizer com "Edite o arquivo de configuração do servidor do Hadoop...
01.10.2012 / 23:47
0
respostas

Os comandos do Hadoop estão demorando muito tempo para retornar

Estou conectado (via SSH) ao NameNode do meu cluster do Hadoop; o problema que estou tendo é que qualquer comando hadoop fs , mesmo os simples como hadoop fs -ls são concluídos rapidamente, mas levam muitos minutos para retornar o controle...
06.07.2012 / 23:12
2
respostas

LD_LIBRARY_PATH perdido ao usar o comando mount

TL; DR Quando um sistema de arquivos de fusíveis é montado através do comando mount, as variáveis de ambiente não são passadas para o script de fusíveis. Por quê? Contexto Estou tentando montar o hdfs (sistema de arquivos hadoop) via fu...
31.01.2017 / 09:41
3
respostas

falha de ligação, endereço em uso: Não é possível usar uma porta TCP para origem e destino?

Estou depurando o DataNodes do Hadoop que não é iniciado. Estamos usando o palheiro e também elasticsearch nas máquinas. O erro Hadoop DataNode é bem claro: java.net.BindException: Problem binding to [0.0.0.0:50020] java.net.BindExcept...
14.12.2015 / 13:00
3
respostas

SSH no VirtualBox no Mac

Acabei de instalar o VirtualBox no meu mac, criei uma nova máquina virtual Ubuntu com "Usar um arquivo de disco rígido virtual existente" da imagem de disco do Cloudera Hadoop. Eu sou capaz de iniciar e executar a máquina virtual, no entanto, eu...
21.09.2015 / 18:21