então, eu estou rodando o Ubuntu 12.04,
e isso parece ter funcionado para mim .. embora não diretamente do repositório, mas faz um bom jogo sem complexidade de materiais 'virtualenvironment' ..
"Obtendo o matplotlib sendo executado com python3"
sudo apt-get build-dep python-matplotlib
sudo apt-get install python3-dev
wget https://github.com/matplotlib/matplotlib/zipball/master
unzip master
cd matplotlib-matplotlib-bb3ea55 <=== the directory name will vary with version
sudo python3 setup.py build
sudo python3 setup.py install
sudo apt-get install python3-pyqt4
graças a "Mike", conforme copiado aqui de: link