Perguntas sobre 'hadoop'

Tags
O Apache Hadoop é uma estrutura de software que suporta aplicativos distribuídos com uso intensivo de dados sob uma licença gratuita. Ele permite que os aplicativos trabalhem com milhares de computadores independentes e petabytes de dados. O Hadoop foi derivado dos documentos MapReduce e Google File System (GFS) do Google.
0
respostas

Datanode no escravo não está funcionando: Hadoop no CentOS

Criamos um cluster do Hadoop de duas máquinas seguindo estas instruções: link com as máquinas configuradas da seguinte forma: hadoop1 = master & slave hadoop2 = slave Quando iniciamos os serviços ( bin/start-all.sh ), todos...
08.09.2014 / 17:15
1
resposta

bash: / home / hadoopuser / hadoop / sbin: é um diretório

Estou no Ubuntu 14.04 LTS. Baseado em como definir um Hadoop cluster Estou executando isso: # Add Hadoop bin and sbin directory to PATH export PATH=$PATH:$HADOOP_HOME/bin;$HADOOP_HOME/sbin onde eu sei que bin e sbin estão no mesmo d...
27.01.2016 / 01:18
1
resposta

mv: target 'hadoop /' não é um diretório

Estou usando o Fedora 23, que está instalado no Oracle VM. Eu estou na etapa Baixando o Hadoop da documentação aqui . Quando eu executo o seguinte comando no Fedora, posso ver o usuário do hadoop listado: [hadoop@localhost home]$ ls user ha...
06.04.2016 / 06:04
1
resposta

Configuração de desenvolvimento no linux

Em um sistema linux devemos instalar e usar nossas ferramentas de desenvolvimento e configuração como java ee e hadoop como usuário root ou como usuário.     
25.04.2016 / 22:20
1
resposta

Faça com que o virtualbox obtenha um endereço IP diferente do meu laptop

Estou tentando configurar um cluster do Hadoop de dois nós (seguindo este guia ), onde o mestre vai ser meu laptop Ubuntu e o slave uma virtualbox rodando o Ubuntu. Eu também li sobre a rede virtualbox , mas ainda tenho problemas. No ent...
23.01.2016 / 17:44
1
resposta

Hadoop: localize o nome do host ou o endereço IP com base no ID do processo

É possível encontrar o endereço IP ou o nome do host de quem enviou um trabalho com base no processid? Temos alguns trabalhos de hadoop funcionando por centenas de horas. Precisamos saber de qual máquina local foi enviada. Temos o id do proce...
20.08.2018 / 11:40
1
resposta

localhost: Permissão negada (publickey, password, keyboard-interactive)

Eu estava tentando executar o Hadoop no Mac OS e recebo os seguintes erros, $ hstart WARNING: Attempting to start all Apache Hadoop daemons as chaklader in 10 seconds. WARNING: This is not a recommended production deployment configuration....
14.08.2018 / 08:28
1
resposta

Podemos misturar valores de MTU em cluster

temos cluster hadoop (todas as máquinas são máquinas linhat redhat versão 7.x) nas máquinas da VM, definimos MTU = 8900 e todas as outras máquinas que definimos MTU = 9000 definimos VM MTU = 8900 porque vimos alguns problemas de rede com o...
25.06.2018 / 12:20
1
resposta

como encontrar o valor correto do Jumbo frame MTU [closed]

Decidimos definir os jumbo frames em todas as nossas máquinas Linux. Temos um cluster de hadoop com máquinas mestras, máquinas operatrizes e máquinas Kafka. Nossos switches (Cisco) são adequados para Jumbo frame e isso é bom, mas jumbo frames...
06.03.2018 / 04:26
1
resposta

Como mover um diretório?

Eu tenho um diretório no HDFS com subdiretórios que contêm arquivos part-xxxxx, criados pelo Spark. Eu quero mover esse diretório (e tudo dentro dele) em um novo diretório. Como? Minha tentativa: [gsamaras@gwta3000 ~]$ hadoop fs -mv  /pro...
15.09.2016 / 01:38