hadoop-config.sh no bin / e libexec /

Question

Durante a configuração do hadoop, descobri que o script hadoop-config.sh está presente em dois diretórios, bin / e libexec /. Ambos os arquivos são idênticos. Ao olhar para os scripts, descobri que se o hadoop-config.sh estiver presente no libexec, ele será executado. Se não, então aquele sob bin / é chamado. Qual é o propósito de manter o mesmo arquivo em dois diretórios?

    

Answer 1

Obrigado por apontar isto.Eu tentei no meu sistema

[root@prashant bin]# hadoop version
Hadoop 1.2.1

e você está absolutamente correto

20: 39: 57.038706 open ("/ usr / local / hadoop / libexec /../conf/haudo-env.sh", O_RDONLY) = 3 < 0,000253 >

Quando eu movi este arquivo, ele está se referindo ao arquivo dentro de / bin

20: 42: 51.024234 open ("/ usr / local / hadoop / bin / ... / conf / hadoop-env.sh", O_RDONLY) = 3 < 0,000332 >

Então eu configurei a última versão do hadoop

[root@hadoop libexec]# hadoop version
Hadoop 2.4.1

[root@hadoop libexec]# pwd
/usr/local/hadoop/libexec

[root@hadoop libexec]# ls -l hadoop-config.sh
-rwxr-xr-x 1 67974 users 9793 Jun 21 11:35 hadoop-config.sh


[root@hadoop bin]# pwd
/usr/local/hadoop/bin

[root@hadoop bin]# ls -l hadoop-config.sh
ls: cannot access hadoop-config.sh: No such file or directory

Então, até onde eu vejo, a maior parte do script é movida para fora do bin na última versão, mas ainda não tenho resposta para sua pergunta

    

Answer 2

Acidente histórico? Desenvolvedores construindo coisas apenas para fazê-los funcionar? Não houve um grande esforço no passado para garantir que os scripts de shell operacionais usados para inicializar todos os programas Java sejam bem pensados e projetados de maneira funcional.

Allen Wittenauer vem realizando uma tarefa monumental de consolidar e corrigir alguns desses problemas em HADOOP-9902 . Você pode querer ver esse problema do JIRA.

Se você estiver usando uma versão do Apache, provavelmente verá as alterações "em breve". Se você estiver usando um dos lançamentos comerciais, esperaria que eles obtivessem as alterações muito mais tarde; no mínimo, eles provavelmente vão esperar até que o trabalho de Allen esteja totalmente comprometido.