Perguntas sobre 'mapreduce'

Durante a configuração do hadoop, descobri que o script hadoop-config.sh está presente em dois diretórios, bin / e libexec /. Ambos os arquivos são idênticos. Ao olhar para os scripts, descobri que se o hadoop-config.sh estiver presente no libex...

Estou tentando executar meus próprios scripts Python de mapeamento e redutor usando o Hadoop Streaming no meu cluster criado em VMs VMware Workstation. Versão do Hadoop - 2.7, Python - 3.5, OS - CentOS 7.2 em todas as VMs. Eu tenho uma máq...

Estou executando o Hadoop em um projeto e preciso de uma sugestão. Geralmente, por padrão, o Hadoop tem um "tamanho de bloco" de cerca de 64 mb. Há também uma sugestão para não usar muitos arquivos / pequenos .. Atualmente, estou tendo arq...

Eu quero ver os registros do JobHistory, que podem ser alimentados como entrada para o Rúmen . Mais especificamente, estou interessado em saber o formato de entrada para o Gridmix . Eu tentei seguir duas coisas para isso: 1) Eu encontrei...

Eu tenho apenas um Data Node no meu ambiente de desenvolvimento no EC2. Fiz um trabalho pesado de RM e em 6 horas notei que 100% dos mapeadores e 20% dos redutores terminaram (1 de redutor mostra 100% de competição, outros - 0%). Parece que o tr...