Eu estou aprendendo o Hadoop, começando ontem.
Para o propósito de aprender, eu configurei o Ubuntu 13.04 de 64 bits no VMWare Fusion no meu MacBook Pro. E estou seguindo o este excelente tutorial. Antes disso, nunca usei o Ubuntu como plataforma de desenvolvimento.
Até agora, consegui configurar o Hadoop e executar com êxito o exemplo do WordCount. Mas ao longo do caminho, tenho que usar sudo para fazer qualquer coisa, por exemplo iniciando os serviços do Hadoop:
/usr/local/hadoop/hadoop-1.1.2/bin/start-all.sh
nunca funciona, dando exceções, mas
sudo /usr/local/hadoop/hadoop-1.1.2/bin/start-all.sh
funciona bem. É o mesmo caso com stop-all.sh e praticamente qualquer outra coisa.
Além disso, ao iniciar os serviços do Hadoop, o sistema operacional solicita senha várias vezes (uma vez antes de iniciar cada componente) e o mesmo acontece quando eu uso stop-all.sh .
Eu não consegui copiar os arquivos baixados para /usr/local/hadoop usando a interface do usuário. Eu tive que copiá-los usando o terminal usando sudo .
Se eu abrir '/ usr / local' na interface do usuário, não há permissão para copiar, mover, excluir ou criar nova pasta. E pesquisei como alterar as permissões, mas, para essa pasta, o proprietário não é o usuário conectado, mas era o root, portanto, a interface do usuário para definir as permissões estava desabilitada. E não é possível fazer login como root e usar a interface do usuário logada como root.
Além disso, quando surgiu o estágio de adicionar configurações a /usr/local/hadoop/bin/start-all.sh , conf/mapred-site.xml e conf/hdfs-site.xml , não consegui salvar as edições usando o GEdit e tive que fazer alterações usando nano (precedido por sudo ). que foi novamente devido a permissões.
Uma coisa diferente na minha configuração é que, em vez de /usr/local/hadoop/ , usei /usr/local/hadoop/hadoop-1.1.2/ como a pasta de extração do Hadoop.
Minhas perguntas são:
- Como adicionar permissões para que eu possa usar a interface do usuário e o GEdit ou qualquer outra
editor de minha escolha?
- Como fazer todos os comandos serem executados sem
sudo ?
- E uma pergunta pouco relacionada, qual é a melhor IDE para
Hadoop? Vindo do Visual Studio e XCode, estou procurando um livre
IDE que eu posso usar ao me acostumar a fazer as coisas usando o
terminal e usando GEdit para mudanças simples no código?