Estou tentando encontrar uma ferramenta que mostre uma visão geral do meu ecossistema do Hadoop - estado, integridade, execução de tarefas, etc. Tentei usar o Google, mas não o encontrei. Existe alguma ferramenta útil útil?
A Cloudera oferece uma ferramenta proprietária que faz o que você descreve e mais chamada de Cloudera Manager . Não é F / OSS, mas eles têm uma edição gratuita que permite rodar em um número limitado de nós. É um produto de ciclo de vida completo, por isso pode ser um pouco exagerado para o que você precisa.
Divulgação total: eu nunca usei isso sozinho. Nós o consideramos na minha empresa, mas acabamos não o usando.
Outra alternativa é o projeto Ambari . Está atualmente em estado de incubação no Apache, mas acredito que o Hortonworks é um dos principais impulsionadores para ele. É principalmente uma estrutura de provisionamento e monitoramento. Você pode ver exemplos no site da Hortonworks. Eles fizeram um post no blog descrevendo como configurá-lo .
Se você está procurando uma interface "mais bonita" para o jobtracker ou namenode, Cloudera tem o Ambiente do usuário do Hadoop (HUE) , que fornece algumas das funcionalidades que você está procurando. É voltado para não-administradores na maior parte, embora.
Tags hadoop