Estou usando o matplotlib e outros pacotes scipy como ipython e numpy No Ubuntu 15.04. Eu tenho eles instalados a partir dos repositórios do Ubuntu. Pode ser que você deve instalar o python-matplotlib com apt-get
Você tentou executar:
sudo apt-get update; sudo apt-get install python-matplotlib