Perguntas sobre 'hadoop'

Tags
O Apache Hadoop é uma estrutura de software que suporta aplicativos distribuídos com uso intensivo de dados sob uma licença gratuita. Ele permite que os aplicativos trabalhem com milhares de computadores independentes e petabytes de dados. O Hadoop foi derivado dos documentos MapReduce e Google File System (GFS) do Google.
0
respostas

Por que o Hadoop TeraSort não está usando todos os nós do cluster

Pergunta Em relação à demonstração do TeraSort no hadoop, sugira se o sintoma é o esperado ou se a carga de trabalho deve ser distribuída. Sintoma Iniciou o Hadoop (3 nós em um cluster) e executou o benchmark TeraSort como abaixo em Ex...
26.09.2016 / 23:11
0
respostas

É possível configurar hdfs em um modo de federação e em um modo HA no mesmo tempo?

Não entendi se é possível configurar o HDFS nos dois modos ao mesmo tempo. Isso faz sentido? Alguém pode mostrar uma configuração simples de HDFS em ambos os modos? (nameNode1, nameNode2, nameNodeStandby1, nameNodeStandby2)     
15.08.2016 / 18:49
0
respostas

Porta de bloqueio do processo de zumbis ao reiniciar o Namenode do Hadoop (secundário)

Estou tendo problemas estranhos com o Namenode Hadoop Namenode e Hadoop. Nosso cluster HDFS é executado sem problemas na maioria das vezes. Mas de vez em quando, o Namenode Primário congela (colidindo com todo o cluster) ou o Namenode Secundário...
29.02.2016 / 17:41
0
respostas

Hive Hive, Impala, Pig e mais - acesso SQL ao Hadoop?

Parece que o Hive, o Impala, o Pig e outros fornecem acesso SQL ou SQL aos dados armazenados nos clusters do Hadoop. Todos parecem ter suporte para HDFS, S3 e outras formas. Então, por que existem tantas maneiras diferentes de acessar as info...
31.10.2015 / 18:27
0
respostas

hadoop fs comandos que não fornecem nenhuma saída

Estou executando o hadoop 1.2.1 no Ubuntu 14.04 LTS no modo pseudo-distribuído, e os comandos fs não estão fazendo nada, ou seja, o prompt niether é retornado nem qualquer mensagem de erro. qual é o problema? Agradecemos antecipadamente     
24.10.2015 / 14:58
1
resposta

VLAN Hyper-V com IP estático

Tentando configurar / simular o cluster do Hadoop localmente por meio de várias VMs (hiper-v). Estou usando a imagem do sandbox hortonworks para o hyper-v que executa o centos linux. Eu posso acertar a vm, se eu usar um switch interno e, e...
28.07.2015 / 10:29
1
resposta

A porta do namenode do Hadoop sendo bloqueada

Eu instalei 7 instâncias de VM de servidores Ubuntu 14.04 LTS. A primeira instância executa o serviço namenode e todos os outros 6 nós executam o serviço datanode. Acredito que o meu NameNode está sendo travado ou bloqueado devido a algum proble...
22.03.2015 / 11:37
0
respostas

Como forçar o HDFS a usar o UID do usuário LDAP

Eu tenho um cluster cloudera com serviços HDFS e Hue e estou tentando unificar a autenticação usando o LDAP. Eu tenho meu servidor LDAP em execução graças ao 389-ds (não sei se é o melhor caminho) e posso fazer o login no Hue com os usuários...
27.11.2014 / 18:45
2
respostas

Não é possível converter o HDFS de não-HA para HA

Introdução Objetivo: Converter o HDFS de não-HA para HA. Método: De acordo com esta documentação deve ser possível converter o HFDS de não-HA, implementando a seguinte configuração: /etc/hadoop/conf/hdfs-site.xml <property...
10.06.2014 / 14:02
0
respostas

Quando e como os diretórios iniciais são criados no HDFS

Eu tenho uma configuração do Hadoop em que o umask HDFS configurado é 027 em vez do padrão. Alguns dos diretórios criados inicialmente têm permissões corretas (como tmp drwxrwxrwx ), mas outros, como /home , não são utilizáveis ( drwxr-x---...
27.03.2014 / 12:45