Perguntas sobre 'hadoop'

Tags
O Apache Hadoop é uma estrutura de software que suporta aplicativos distribuídos com uso intensivo de dados sob uma licença gratuita. Ele permite que os aplicativos trabalhem com milhares de computadores independentes e petabytes de dados. O Hadoop foi derivado dos documentos MapReduce e Google File System (GFS) do Google.
1
resposta

sqoop2 falha ao iniciar

Meu sqoop2 de repente morre e não consigo iniciar desde 2 dias atrás, eu não mudei nenhuma configuração no sqoop2, eu verifiquei o log do / var / log / sqoop2 catalina que ele diz: Mar 14, 2016 2:06:17 PM org.apache.catalina.core.AprLifecycle...
14.03.2016 / 11:34
0
respostas

Como criar um dataframe vazio? [fechadas]

Eu também quero criar um dataframe vazio na spark 2.3 ?? Eu estava tentando com sparkContext vai bem, mas com sparksession isso não está acontecendo.     
21.11.2018 / 10:11
0
respostas

como mover arquivos baseados em hora de nascimento em hadoop [closed]

Eu tenho alguns arquivos de 200k em uma pasta, eu quero organizá-los com base no tempo de nascimento (tempo de criação). Eu escrevi o script abaixo, mas é muito lento. Eu quero melhorar isso. como posso fazer isso? #!/usr/bin/env bash echo In...
11.09.2018 / 23:01
1
resposta

Não é possível sair do modo interativo para o comando top de linha

Eu tenho um script bash que está no serverA. Este script irá ssh para serverB e executa o comando top de fios, obtém as métricas e as coloca no arquivo (test.txt) no serverA. Abaixo está o comando que estou usando: ssh -oStrictHostKeyChecking...
14.08.2018 / 08:48
0
respostas

jps processa problema sobre a instalação do Hadoop

Estou tentando instalar hadoop com o modo totalmente distribuído em Centos6.4 (eu uso 4 caixas virtuais). server1 NameNode server2 SecondaryNameNode, Datanode server3 datanode server4 datanode Talvez eu esteja quase terminando, mas ......
20.02.2018 / 15:14
0
respostas

Como você faz com que os comandos do Hadoop funcionem quando você recebe o erro “HADOOP_COMMON_HOME inválido”?

Eu tinha uma versão 1.x do Hadoop instalada no Linux SUSE 12.3. Mudei o diretório para outro lugar para fazer o backup. Eu tentei instalar o Hadoop 3.0. Espero que os comandos do Hadoop funcionem com base no que fiz. Eu usei arquivos do Hadoop 3...
31.12.2017 / 23:28
0
respostas

O cluster do Hadoop não está escutando na porta que eu configurei. O que está errado?

Eu configurei um cluster do Hadoop com servidores RHEL 7.4. Não há firewall entre eles. Estou executando o Hadoop 3.0. No namenode, o arquivo core-site.xml está configurado para usar a porta 54310. Eu executo este comando: hdfs dfsadmin -rep...
03.01.2018 / 00:59
0
respostas

Como conectar o Kerberos com vários servidores LDAP?

Minha tarefa real é tornar nosso cluster Kerberized Hadoop utilizável por todas as nossas equipes. No momento, temos uma configuração muito estranha em nossa empresa: O cluster do Hadoop tem um KDC dedicado (o openSUSE Kerberos com LDAP back...
29.06.2017 / 10:50
1
resposta

Alterar tipos de dados da coluna no banco de dados Hive

Eu sou novo no banco de dados do Hive. Alguém pode me ajudar a mudar o tipo de dados no banco de dados do Hive? Abaixo está uma informação completa sobre o mesmo. Eu tenho um banco de dados chamado "teste". Tem uma tabela "nome". Abaixo está...
09.09.2016 / 10:43
1
resposta

Que sistema operacional devo usar para o cluster do Hadoop?

Eu tenho um cliente configurando um cluster do Hadoop. Todos nós usamos e estamos muito familiarizados com o CentOS 7. Foi-me dito que o Scientific Linux seria melhor otimizado para o Hadoop. Existe alguma verdade nisso?     
09.10.2016 / 06:59