Como acessar o pyspark no anaconda instalado em outro usuário?

Question

Eu tenho dois usuários user1 e user2 com o último tendo privilégios de root. Eu instalei o spark e o hadoop no user2.

Agora eu instalei o Anaconda2 no user1 e quando iam tentando executar o meu trabalho no jupyter notebook, ele está me dando um erro no módulo chamado pyspark.

Então, posso acessar o pyspark do usuário1?

    

Answer 1

Certifique-se de que user2 tenha a variável de ambiente SPARK_HOME configurada, se não, configure-a. Se você tiver definido SPARK_HOME para todos os usuários, o acesso a SPARK_HOME não deve ser um problema para o usuário2. Uma vez configurada a variável SPARK_HOME, adicione o seguinte script na primeira célula do bloco de notas do Jupyter e depois que essa célula for executada, você poderá usar o sparkContext (sc).

# Configure the necessary Spark environment
import os
import sys

spark_home = os.environ.get('SPARK_HOME', None)
sys.path.insert(0, spark_home + "/python")

# Add the py4j to the path.
# You may need to change the version number to match your install
sys.path.insert(0, os.path.join(spark_home, 'python/lib/py4j-0.8.2.1-src.zip'))

# Initialize PySpark to predefine the SparkContext variable 'sc'
execfile(os.path.join(spark_home, 'python/pyspark/shell.py'))