Existe repo que contém pacotes hadoop e spark para o Ubuntu: link Eu acredito que nem sempre é a mais recente versão brilhante - mas mais recente do que 2 anos.
# curl http://www.apache.org/dist/bigtop/bigtop-1.0.0/repos/debian8/bigtop.list > /etc/apt/sources.list.d/bigtop.list
# apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 3A367EA0FA08B173
# aptitude update
# aptitude install spark-python
a partir de agora, seus pacotes são bem antigos (hadoop 2.6.0, spark 1.3.1)