Antes de começar - não esqueça de remover o python-matplotlib com sudo apt-get purge python-matplotlib
.
Então você pode tentar instalar o matplotlib-2.1.0 com o pip:
-
sudo pip install matplotlib
(para python2.7) -
sudo pip3 install matplotlib
(para python3.5).