Como obtenho o pyspark no Ubuntu?

Question

Eu posso colocar o Spark nele através do Centro de Software, mas como faço para obter o pyspark?

    

Answer 1

pyspark é uma ligação de python para o programa de ignição escrito em Scala.

Contanto que você tenha o Java 6+ e o Python 2.6+, é possível fazer o download de binários pré-criados para faísca a partir do download página. Certifique-se de que os programas java e python estejam no seu PATH ou que a variável de ambiente JAVA_HOME esteja definida. Siga estas etapas para começar;

1. Descompacte e mova o diretório descompactado para um diretório de trabalho:

   % bl0ck_qu0te%

2. Vincule a versão do Spark a um diretório spark :

   % bl0ck_qu0te%

3. Edite ~/.bash_profile usando seu editor de texto favorito e adicione Spark ao seu PATH e defina a variável de ambiente SPARK_HOME :

   % bl0ck_qu0te%

Agora você deve ser capaz de executar o pyspark executando o comando pyspark no terminal.

Algumas referências:

link

link

    

Answer 2

pyspark está disponível via pypi .

Portanto, tudo o que você precisa para instalar o pyspark é pip e executar o seguinte comando.

pip install pyspark ou sudo pip install pyspark