Encontrei estas dependências no arquivo de instalação:
matplotlib core: zlib, zlib-devel, libpng, libpng-devel,
freetype, freetype-devel, freetype-utils
gtk backend: gtk2-devel, gtk+-devel, pygtk2, glib-devel,
pygtk2-devel, gnome-libs-devel, pygtk2-libglade
tk backend: tcl, tk, tkinter
Você tem todos aqueles instalados?