Responda a uma pergunta semelhante levantada aqui sugerindo a instalação de zlib1g-dev
para resolver este erro:
sudo apt-get install zlib1g-dev
Mais informações sobre zlib1g-dev
Note: If you have a spark cluster, you might need to install the package on every node in the cluster.