Exemplo de saída de rúmen ou entrada para o Gridmix

1

Eu quero ver os registros do JobHistory, que podem ser alimentados como entrada para o Rúmen . Mais especificamente, estou interessado em saber o formato de entrada para o Gridmix .

Eu tentei seguir duas coisas para isso:

1) Eu encontrei estes arquivos:. O que é esse arquivo exatamente? Este formato de saída é de Rumen? Um arquivo semelhante a essa entrada suficiente para o Gridmix?

2) Outra coisa que eu tentei para ver os logs do JobHistory é configurar o hadoop e executar e ver alguns logs. No entanto, eu configurei o hadoop (Yarn and Map Reduce) pela primeira vez. Então eu não tenho conhecimento sobre sua configuração. Estou usando a versão 3.0.0 do Hadoop Yarn.

Estou fazendo minha execução em Pseudo-Distributed_Operation ( Os logs do JobHistory são gerados em Pseudo-Distributed_Operation? ).

Eu ativei a agregação de log do Yarn como sugerido. aqui .

This artigo fala sobre onde os logs podem ser encontrados. Ele diz que está no seguinte diretório no hdfs.

/user/uname/.staging/job_id/

No entanto, não consigo encontrar esse diretório. A seguir é o que recebo como a mensagem de erro.

bin/hdfs dfs -ls /user/uname/.staging
ls: '/user/uname/.staging': No such file or directory

Eu tentei procurar o / user/uname/.staging no sistema de arquivos local também. No entanto, eu tenho o mesmo diretório não existe erro. (Isso foi óbvio como eu não criei nenhum). No entanto, eu criei / user / uname no sistema HDFS (ao fazer a configuração e / user / uname / existe mas o subdiretório .staging nele não é encontrado).

Esta resposta do stackoverflow fala sobre o problema semelhante, mas não é muito claro como posso adaptá-lo ao meu problema e isso também é para uma versão mais antiga do Hadoop e parece que não funcionará para o Hadoop-3.0.0

Seria ótimo se alguém pudesse me apontar para uma amostra Gridmix Input ou Rumen (Input ou Output) ou me ajudar a descobrir onde os arquivos de log gerados pelas minhas execuções estão indo.

    
por PHcoDer 06.04.2018 / 22:24

0 respostas