Estou executando o Hadoop no Ubuntu em um Oracle VM no Windows 7. Estou tentando instalar o Spark em uma instalação existente do Hadoop. Para fins de demonstração, não desejo alterar a versão existente do Hadoop. A seguir estão as versões do software na minha VM.
Ubuntu: 14.04
Java: ambiente de tempo de execução Java 1.7 e OpenJDK (IcedTea 2.5.2)
Hadoop: 2.5.0
Eu descobri que para o Hadoop eu preciso instalar o Spark 1.6.2. Quando tento baixar o Spark 1.6 , ele não me dá a opção para o Hadoop 2.5, mas tem opções para o 2.4 e o 2.6. O Will Spark 1.6 funciona no Hadoop 2.4?
Eu gostaria de saber os requisitos de plataforma apropriados para Spark, Scala e Java para instalar o Spark no Hadoop 2.5.
Você pode criar uma faísca para qualquer versão do hadoop instalando o maven e siga os seguintes passos:
Execute os comandos abaixo:
tar -xvzf spark-1.6.2.tgz
cd spark-1.6.2
mvn -Pyarn -Phadoop-2.5 -Dhadoop.version=2.5.0 -DskipTests clean package