Perguntas sobre 'hadoop'

Tags
O Apache Hadoop é uma estrutura de software que suporta aplicativos distribuídos com uso intensivo de dados sob uma licença gratuita. Ele permite que os aplicativos trabalhem com milhares de computadores independentes e petabytes de dados. O Hadoop foi derivado dos documentos MapReduce e Google File System (GFS) do Google.
1
resposta

Tempo limite de conexão Sqoop JDBC após a importação, mas antes da importação de seção

Estamos usando o Sqoop v1.4.4 14/05/27 13:49:14 INFO sqoop.Sqoop: Running Sqoop version: 1.4.4-cdh5.0.0 Sqoop 1.4.4-cdh5.0.0 git commit id 8e266e052e423af592871e2dfe09d54c03f6a0e8 Quando estou importando uma tabela do Oracle que leva mais...
27.05.2014 / 15:28
5
respostas

Mac OS X 10.9 Mavericks interrompe SSH sem senha para localhost (para hadoop)

Desculpe se isso soa como uma repetição, mas tenho certeza que é especificamente relacionado ao Mac OS X 10.9, funciona bem para mim na minha máquina 10.8. Eu fiz tudo de forma idêntica, como de costume: $:~ ssh-keygen -t rsa -P "" $:~ cat $H...
06.04.2014 / 00:57
1
resposta

Como começar depois de instalar o OpenStack

Eu instalei o OpenStack seguindo o tutorial de aqui Eu quero saber como posso implantar um aplicativo PHP simples usando Apache Hadoop no OpenStack? Alguma referência?     
25.03.2014 / 10:50
1
resposta

Como remover um grande número de arquivos / pastas no linux

Estamos usando o hadoop para dividir uma tabela em arquivos menores para alimentar o mahout, mas no processo, criamos uma enorme quantidade de logs temporais. Nós temos uma montagem NFS para o volume do hadoop para que possamos usar todos os...
29.10.2013 / 16:49
2
respostas

quer remover cdh4 (hadoop) do Ubuntu 12.04

Eu instalei o pseudo mode cdh3 no meu sistema 12.04 (preciso) do ubuntu usando a seguinte referência web cdh3-install-ubuntu12.04 agora eu tentei instalar o cdh4 para substituir cdh3 mas, infelizmente achei que o cdh4 suportava apenas 64...
02.09.2013 / 13:41
1
resposta

O tutorial Pig no modo local retorna OutOfMemoryError

Eu sou novo com porco e tento aprender com porco tutorial no site da Apache. Eu estou trabalhando com hadoop 1.0.1 e PigVersion 0.11.1. No tutorial, propõe-se experimentar o porco em dois exemplos (chamados script1-local.pig e script2-local.pig)...
16.07.2013 / 17:33
1
resposta

Modifique LD_LIBRARY_PATH e CLASSPATH no nó do cluster antes de executar um trabalho de hadoop

Eu preciso definir LD_LIBRARY_PATH e CLASSPATH antes de executar um trabalho em um cluster. Em LD_LIBRARY_PATH eu preciso adicionar a localização de alguns jars que são necessários durante a execução do trabalho, como esses jars estão disponívei...
30.11.2012 / 18:24
0
respostas

Qual é a diferença entre headless, service e user Kerberos keytabs?

Costumo trabalhar em clusters do Kerberised Hadoop e preciso usar vários keytabs, como: hbase.headless.keytab hbase.service.keytab devuser.keytab Não estou totalmente claro sobre qual é exatamente o propósito de cada um dele...
24.04.2018 / 10:55
0
respostas

Práticas recomendadas para transferência de dados entre clusters do Hadoop

Situação: Eu preciso transferir cerca de 100 TB de um antigo cluster do Hadoop para um novo cluster do Hadoop. Os dois clusters têm uma conexão direta de 1 GbE do namenode em cada cluster. Os datanodes não estão conectados. O que eu tentei...
24.09.2017 / 18:37
0
respostas

Como encontro qual disco (volume) está falhando?

Estou usando o Apache Hadoop 1.1.1 e não consigo que um datanode seja iniciado devido a: 2015-04-23 09:12:48,138 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties 2015-04-23 09:12:48,152 INF...
23.04.2015 / 15:45