Perguntas sobre 'hdfs'

Tags
0
respostas

Como evitar execução executável arbitrária no cluster hadoop

Estou envolvido na configuração de um cluster do Hadoop para auditoria e segurança completas. Eu sou novo no ecossistema Hadoop, mas tenho uma ideia decente do básico. Tenho algumas preocupações pelas quais espero que alguém possa me apontar na...
15.11.2017 / 17:50
0
respostas

Precisa definir a permissão 000 para o bloco de dados hdfs específico por meio da linha de comando

Estou tentando definir a permissão "000" para o bloco específico. Eu usei o comando abaixo para encontrar as informações do bloco: su - hdfs -c "hdfs fsck -locations -files -blocks /user/rohit/partition_filter_table/india.25.20.101.95000"...
19.10.2016 / 11:22
0
respostas

É possível configurar hdfs em um modo de federação e em um modo HA no mesmo tempo?

Não entendi se é possível configurar o HDFS nos dois modos ao mesmo tempo. Isso faz sentido? Alguém pode mostrar uma configuração simples de HDFS em ambos os modos? (nameNode1, nameNode2, nameNodeStandby1, nameNodeStandby2)     
15.08.2016 / 18:49
0
respostas

Porta de bloqueio do processo de zumbis ao reiniciar o Namenode do Hadoop (secundário)

Estou tendo problemas estranhos com o Namenode Hadoop Namenode e Hadoop. Nosso cluster HDFS é executado sem problemas na maioria das vezes. Mas de vez em quando, o Namenode Primário congela (colidindo com todo o cluster) ou o Namenode Secundário...
29.02.2016 / 17:41
0
respostas

Apresentações do HDFS na faísca do apache

Eu tenho vários problemas relacionados ao HDFS, que podem ter raízes diferentes. Estou postando tanta informação quanto posso, com a esperança de que possa obter sua opinião em pelo menos alguns deles. Basicamente os casos são: Classes do HD...
13.07.2015 / 22:53
0
respostas

Como forçar o HDFS a usar o UID do usuário LDAP

Eu tenho um cluster cloudera com serviços HDFS e Hue e estou tentando unificar a autenticação usando o LDAP. Eu tenho meu servidor LDAP em execução graças ao 389-ds (não sei se é o melhor caminho) e posso fazer o login no Hue com os usuários...
27.11.2014 / 18:45
2
respostas

Não é possível converter o HDFS de não-HA para HA

Introdução Objetivo: Converter o HDFS de não-HA para HA. Método: De acordo com esta documentação deve ser possível converter o HFDS de não-HA, implementando a seguinte configuração: /etc/hadoop/conf/hdfs-site.xml <property...
10.06.2014 / 14:02
0
respostas

Quando e como os diretórios iniciais são criados no HDFS

Eu tenho uma configuração do Hadoop em que o umask HDFS configurado é 027 em vez do padrão. Alguns dos diretórios criados inicialmente têm permissões corretas (como tmp drwxrwxrwx ), mas outros, como /home , não são utilizáveis ( drwxr-x---...
27.03.2014 / 12:45
1
resposta

Opções de armazenamento adicionais para nós do Hadoop HDFS

Temos um pequeno cluster Hadoop de distribuição Cloudera de produção (14 nós, mas crescendo). À medida que expandimos nosso uso desse cluster, descobrimos que o armazenamento em disco é nosso maior bloqueador e requisito. O uso de RAM e CPU é mí...
16.01.2014 / 20:47
1
resposta

Altera o uid do usuário do linux existente no LDAP, mas o hdfs parece não o reconhece

Eu configurei um ambiente hadoop 1.2.1 no centos 6. Eu também uso o nfs-proxy que monta ndfs no sistema de arquivos local para que eu possa acessar os arquivos dentro do hdfs localmente. Funciona perfeitamente até hoje, me pediram para integrar...
18.12.2013 / 12:42