Para elaborar o comentário do Oz123, apt-get build-dep foo
(ou aptitude) permite que você puxe todos os pacotes necessários para construir foo a partir dos repositórios. Assim, para instalar as dependências de construção necessárias para o matplotlib, execute apt-get build-dep matplotlib