Perguntas sobre 'hadoop'

Tags
O Apache Hadoop é uma estrutura de software que suporta aplicativos distribuídos com uso intensivo de dados sob uma licença gratuita. Ele permite que os aplicativos trabalhem com milhares de computadores independentes e petabytes de dados. O Hadoop foi derivado dos documentos MapReduce e Google File System (GFS) do Google.
1
resposta

Como Desativar Páginas Enormes Transparentes no CentOS6.6 [duplicado]

Estou tentando disable Páginas enormes e transparentes na instalação CentOS for HDP2.2 . Estou usando este link como referência, mas ainda estou recebendo o questão. Eu tentei adicionar isso também: Adicionando as seguintes l...
12.06.2015 / 13:31
2
respostas

Como somar valor da coluna especificada por data específica em kornshell?

Estou trabalhando em uma estrutura de validação exclusiva que valida dados. Para cada trabalho de validação, há um trabalho SQL com um trabalho KSH que o acompanha (kornshell). O SQL consulta algo no banco de dados e o KSH precisa consultar o ar...
19.11.2018 / 23:33
0
respostas

Distcp de hadoop para aws

Eu tenho que transferir arquivos do cluster do hadoop para o intervalo do AWS. Abaixo está o comando que estou usando. hadoop distcp -Dmapreduce.job.queuename=root.mr.sbg.sla -Dfs.s3n.proxy.host=qy1prdproxy02.ie.xxx.net -Dfs.s3n.proxy.port=80...
13.11.2018 / 09:07
0
respostas

DISTCP do Hadoop para o AWS s3 Bucket

Eu tentei o comando abaixo para transferir o arquivo do hadoop para o AWS hadoop distcp -Dmapreduce.job.queuename=root.mr.sbg.sla -fs.s3a.proxy.host=qy1prdproxy02.ie.XXX.net -fs.s3a.proxy.port=80 -fs.s3a.endpoint=s3.us-west-2.amazonaws.com...
12.11.2018 / 09:49
0
respostas

Como inserir uma coluna na tabela de seção tomando valores exclusivos de 5 colunas diferentes em outra tabela de seção

Eu tenho uma tabela de seção com o esquema abaixo. Tabela A: li_number string id1 string id2 string id3 string id4 string id5 string id6 string id7 string id8 string id9 string id10 string created_date date Tabela B: id string creat...
26.10.2018 / 06:28
0
respostas

jumbo frame + fine tune

temos o cluster hadoop (as máquinas são linux redhat 7), e configuramos o quadro jumbo de acordo com a documentação primeiro definimos MTU = 9000 em todos os nós no cluster mas notamos alguns problemas, então diminuímos pouco o valor até t...
25.06.2018 / 10:15
1
resposta

systemd - define um serviço sem ExecStop e pode pará-lo sem “falhar”

Estou com o CentOS 7 e quero iniciar o produtor independente do Kafka (File Connector) como um serviço. O comando é: /opt/kafka/bin/connect-standalone.sh /opt/kafka/config/connect-standalone.properties /opt/kafka/config/connect-file-source.pr...
23.02.2018 / 08:11
1
resposta

install hadoop_2_6_1_0_129-hdfs

tentou instalar o cluster do Hadoop A instalação do App Timeline Server retornou o erro: 2018-02-26 19:31:49,406 - Installing package hadoop_2_6_1_0_129-hdfs ('/usr/bin/yum -d 0 -e 0 -y install hadoop_2_6_1_0_129-hdfs') 2018-02-26 19:31:51...
26.02.2018 / 17:19
0
respostas

Hadoop no ArchLinux (Operação Pseudo-Distribuída)

Eu quero usar o hadoop no ArchLinux, então eu tentei aqui ( link ), mas eu pude fazer isso . Eu tentei ... instale o hadoop do AUR (hadoop 3.0.0-1) alteração de permissão de uso $sudo chmod o+r /etc/hadoop && sudo chmod o+r...
29.12.2017 / 10:53
1
resposta

Cluster do Hadoop com o Ambari - a melhor maneira de modificar configurações

Temos um cluster do Hadoop, os clientes são instalados em máquinas Linux Red Hat e o gerenciamento central pelo Apache Ambari . yum list | grep ambari-server ambari-server.x86_64 2.5.0.3-7 @ambari-2.5.0.3...
10.08.2017 / 13:42