Perguntas sobre 'hdfs'

Tags
4
respostas

No Hadoop, como mostrar o processo atual de -copyFromLocal

Eu ainda sou um aprendiz novato no Hadoop, e dessa vez eu estava tentando processar um arquivo de 106GB. Eu usei -copyFromLocal para copiar esse arquivo grande para meu Hadoop DFS, mas como o arquivo é grande, tenho que esperar por um longo t...
11.04.2014 / 06:15
2
respostas

HBASE Space Used Started Climbing Rapidly

Atualização 4.215: Depois de olhar para o uso do espaço dentro do hdfs, vejo que o .loglogs está usando muito espaço: 1485820612766 /hbase/.oldlogs Então, novas perguntas: O que é isso? Como faço para limpá-lo? Como evito qu...
04.12.2014 / 23:41
2
respostas

Hadoop HDFS Backup e Estratégia de DR

Estamos nos preparando para implementar nosso primeiro cluster do Hadoop. Como tal, estamos começando pequeno com uma configuração de quatro nós. (1 nó mestre e 3 nós de trabalho) Cada nó terá 6 TB de armazenamento. (Discos de 6 x 1 TB) Fomos co...
14.08.2013 / 01:32
2
respostas

Como corrigir o cluster do Hadoop HDFS com blocos ausentes depois que um nó foi reinstalado?

Eu tenho um cluster Hadoop de cinco escravos (usando CDH4) --- escravos são onde DataNode e TaskNode são executados. Cada escravo tem 4 partições dedicadas ao armazenamento HDFS. Um dos escravos precisava de uma reinstalação e isso fazia com que...
10.08.2013 / 14:36
1
resposta

Ceph: Por que um número maior de “grupos de colocação” é uma “coisa ruim”?

Eu tenho pesquisado bancos de dados distribuídos e sistemas de arquivos, e enquanto eu estava originalmente interessado principalmente no Hadoop / HBase porque sou um programador Java, encontrei este documento muito interessante sobre o Ceph ,...
22.04.2011 / 13:20
1
resposta

Forward-sync para HDFS? (OU continuar um upload incompleto do hdfs?)

Alguém tem uma boa sugestão para fazer uma sincronização direta com o HDFS? ("forward-sync" em contraste com "sync bidirecional") Basicamente eu tenho um grande número de arquivos que eu quero colocar no HDFS. É tão grande que, muitas vezes,...
14.09.2009 / 17:52
3
respostas

Existe uma maneira de fazer o grep do conteúdo gzip em hdfs sem extraí-lo?

Estou procurando uma maneira de zgrep hdfs files algo como: hadoop fs -zcat hdfs://myfile.gz | grep "hi" ou hadoop fs -cat hdfs://myfile.gz | zgrep "hi" isso realmente não funciona para mim está lá de qualquer maneira para...
22.01.2015 / 11:49
2
respostas

Hadoop HDFS: define o tamanho do bloco de arquivos a partir da linha de comando?

Eu preciso definir o tamanho do bloco de um arquivo quando eu carregá-lo no HDFS, para algum valor menor que o tamanho do bloco do cluster. Por exemplo, se o HDFS estiver usando blocos de 64MB, talvez eu queira que um arquivo grande seja copiado...
11.08.2011 / 17:22
1
resposta

Carregue arquivos grandes com curl sem cache de RAM.

Estou usando o curl para fazer upload de arquivos grandes (de 5 a 20Gb) para HOOP com base no HDFS (Hadoop Cluster) como segue: curl -f --data-binary "@$file" "$HOOP_HOST$UPLOAD_PATH?user.name=$HOOP_USER&op=create" Mas quando você...
24.05.2015 / 09:53
1
resposta

Não é possível conectar-se ao HDFS no modo pseudo-distribuído

Eu segui as instruções aqui para instalar o hadoop no modo pseudo-distribuído. No entanto, estou com problemas para me conectar ao HDFS. Quando eu executo este comando: ./hadoop fs -ls / Eu recebo uma listagem de diretórios exatam...
24.08.2012 / 00:53