Eu quero ver os registros do JobHistory, que podem ser alimentados como entrada para o Rúmen . Mais especificamente, estou interessado em saber o formato de entrada para o Gridmix .
Eu tentei seguir duas coisas para isso:
1) Eu encontrei estes arquivos:. O que é esse arquivo exatamente? Este formato de saída é de Rumen? Um arquivo semelhante a essa entrada suficiente para o Gridmix?
2) Outra coisa que eu tentei para ver os logs do JobHistory é configurar o hadoop e executar e ver alguns logs. No entanto, eu configurei o hadoop (Yarn and Map Reduce) pela primeira vez. Então eu não tenho conhecimento sobre sua configuração. Estou usando a versão 3.0.0 do Hadoop Yarn.
Estou fazendo minha execução em Pseudo-Distributed_Operation ( Os logs do JobHistory são gerados em Pseudo-Distributed_Operation? ).
Eu ativei a agregação de log do Yarn como sugerido. aqui .
This artigo fala sobre onde os logs podem ser encontrados. Ele diz que está no seguinte diretório no hdfs.
/user/uname/.staging/job_id/
No entanto, não consigo encontrar esse diretório. A seguir é o que recebo como a mensagem de erro.
bin/hdfs dfs -ls /user/uname/.staging
ls: '/user/uname/.staging': No such file or directory
Eu tentei procurar o / user/uname/.staging no sistema de arquivos local também. No entanto, eu tenho o mesmo diretório não existe erro. (Isso foi óbvio como eu não criei nenhum). No entanto, eu criei / user / uname no sistema HDFS (ao fazer a configuração e / user / uname / existe mas o subdiretório .staging nele não é encontrado).
Esta resposta do stackoverflow fala sobre o problema semelhante, mas não é muito claro como posso adaptá-lo ao meu problema e isso também é para uma versão mais antiga do Hadoop e parece que não funcionará para o Hadoop-3.0.0
Seria ótimo se alguém pudesse me apontar para uma amostra Gridmix Input ou Rumen (Input ou Output) ou me ajudar a descobrir onde os arquivos de log gerados pelas minhas execuções estão indo.