Perguntas sobre 'hdfs'

Tags
0
respostas

java.lang.NullPointerException ao fazer uma leitura no HDFS

Eu tive um cluster HBase de 10 nós funcionando nos últimos 4 meses. O cluster foi configurado em VMs em um ambiente corporativo que eu não controlei, mas tudo funcionou muito bem ... até hoje. Hoje, todas as partes do sistema estavam inativas...
16.04.2014 / 00:04
2
respostas

Desativar o alerta de blocos replicados no Cloudera Manager

Eu tenho um cluster Hbase de servidor único que estou usando apenas como finalizador da replicação do HBase. Portanto, não quero replicar nenhum bloco dentro desse cluster (já que a origem replicou os blocos, não sinto que precise deles). Gos...
17.07.2014 / 22:05
1
resposta

Linux Ajuste de rede para impedir tcp rcvpruned e backlogdrop?

Meus datanodes no meu cluster hbase estão acionando algumas contas tcp rcvpruned e backlog de tempos em tempos: Parece haver pelo menos dois ângulos para abordar isso em: Ajuste o HBase / HDFS etc ... para que eles não sejam acionados...
19.09.2014 / 15:33
1
resposta

Configurando permissões no Cloudera Hadoop 4 (CDH4)

Eu gostaria de configurar as permissões do HDFS no CDH4, com os seguintes requisitos: Todos podem ler tudo de todos os diretórios do HDFS Cada usuário só pode gravar em seu diretório de usuários no HDFS Exceto um usuário especial que pod...
28.07.2013 / 09:55
0
respostas

Como posso iniciar o hdfs no Mesos sem o DC / OS?

Do meu entender, o DC / OS é um serviço gerenciado por Freemium. Porque eu prefiro apenas ter uma implementação do Mesos, eu prefiro não ser dependente do DC / OS e por isso eu só quero saber como implementar o HDFS no Mesos sem ele. Infelizm...
23.02.2017 / 22:10
1
resposta

btrfs: Procurando por experiência nos modos de erro btrfs em setores defeituosos / erros de leitura / erros médios

Durante a execução de um cluster do Hadoop que usa HDFS (para que os dados já sejam replicados 3x), muitas vezes ocorrem problemas com o ext4 porque alguns setores defeituosos (o sistema de arquivos não consegue ler ou gravar neles) fazendo com...
11.02.2014 / 15:13
3
respostas

O que significa “acesso a dados em fluxo contínuo” no HDFS?

De acordo com a página da Arquitetura HDFS, o HDFS foi projetado para "acesso a dados em fluxo contínuo". Não tenho certeza do que isso significa exatamente, mas acho que isso significa que uma operação como a de busca é desabilitada ou tem um d...
14.07.2009 / 12:13
1
resposta

Executando o HDFS com apenas 1 nó de dados - o anexo falha

Estou tentando testar alguns serviços que exigem o HDFS usando o Docker Compose . Como os serviços que estão sendo testados, namenode e nó (s) de dados estarão todos em execução na mesma máquina física (laptop dev), seria interessante reduzir o...
04.10.2016 / 19:34
4
respostas

A inicialização do datanode do HDFS falha quando os discos estão cheios

Nosso cluster HDFS está apenas 90% cheio, mas alguns datanodes têm alguns discos que estão 100% cheios. Isso significa que quando reiniciamos em massa o cluster inteiro, alguns datanodes não conseguem iniciar com uma mensagem como esta: 201...
29.10.2013 / 15:53
2
respostas

Excluindo o diretório temporário do HDFS

Existe uma maneira inteligente de excluir arquivos antigos do diretório hdfs / tmp? (Só para ter certeza, eu não estou falando sobre o unix FS / tmp)     
09.08.2012 / 23:28