Eu estou aprendendo o Hadoop, começando ontem.
Para o propósito de aprender, eu configurei o Ubuntu 13.04 de 64 bits no VMWare Fusion no meu MacBook Pro. E estou seguindo o este excelente tutorial. Antes disso, nunca usei o Ubuntu como plataforma de desenvolvimento.
Até agora, consegui configurar o Hadoop e executar com êxito o exemplo do WordCount. Mas ao longo do caminho, tenho que usar sudo
para fazer qualquer coisa, por exemplo iniciando os serviços do Hadoop:
/usr/local/hadoop/hadoop-1.1.2/bin/start-all.sh
nunca funciona, dando exceções, mas
sudo /usr/local/hadoop/hadoop-1.1.2/bin/start-all.sh
funciona bem. É o mesmo caso com stop-all.sh
e praticamente qualquer outra coisa.
Além disso, ao iniciar os serviços do Hadoop, o sistema operacional solicita senha várias vezes (uma vez antes de iniciar cada componente) e o mesmo acontece quando eu uso stop-all.sh
.
Eu não consegui copiar os arquivos baixados para /usr/local/hadoop
usando a interface do usuário. Eu tive que copiá-los usando o terminal usando sudo
.
Se eu abrir '/ usr / local' na interface do usuário, não há permissão para copiar, mover, excluir ou criar nova pasta. E pesquisei como alterar as permissões, mas, para essa pasta, o proprietário não é o usuário conectado, mas era o root, portanto, a interface do usuário para definir as permissões estava desabilitada. E não é possível fazer login como root e usar a interface do usuário logada como root.
Além disso, quando surgiu o estágio de adicionar configurações a /usr/local/hadoop/bin/start-all.sh
, conf/mapred-site.xml
e conf/hdfs-site.xml
, não consegui salvar as edições usando o GEdit e tive que fazer alterações usando nano
(precedido por sudo
). que foi novamente devido a permissões.
Uma coisa diferente na minha configuração é que, em vez de /usr/local/hadoop/
, usei /usr/local/hadoop/hadoop-1.1.2/
como a pasta de extração do Hadoop.
Minhas perguntas são:
- Como adicionar permissões para que eu possa usar a interface do usuário e o GEdit ou qualquer outra
editor de minha escolha?
- Como fazer todos os comandos serem executados sem
sudo
?
- E uma pergunta pouco relacionada, qual é a melhor IDE para
Hadoop? Vindo do Visual Studio e XCode, estou procurando um livre
IDE que eu posso usar ao me acostumar a fazer as coisas usando o
terminal e usando GEdit para mudanças simples no código?