Construa dependências do matplotlib para python2 e python3

Question

Eu gostaria de ter vários ambientes virtuais no meu computador, alguns deles executando python 2.7 e outros com python3, e alguns deles devem ter suporte total ao matplotlib, o que é obtido com --system-syte-packages ao criar o ambiente virtual faqs do matplotlib ).

Portanto, eu preciso modificar as dependências do matplotlib para as duas versões do Python. Eu comecei com:

sudo apt-get build-dep python-matplotlib

Que instalou tudo corretamente e tentei executar:

sudo apt-get build-dep python3-matplotlib

Que não fez nada, apenas imprimiu as seguintes mensagens:

Reading package lists... Done
Picking 'matplotlib' as source package instead of 'python3-matplotlib'
Reading package lists... Done
Building dependency tree       
Reading state information... Done
0 to upgrade, 0 to newly install, 0 to remove and 6 not to upgrade.

Como isso pode ser resolvido? Ambas as soluções relacionadas pip ou apt-get são bem-vindas.

EDITAR:

Eu posso instalar o matplotlib em um ambiente virtual python3 sem qualquer problema, no entanto, ele não suporta muitos dos backends. Por exemplo:

>>> import matplotlib
>>> matplotlib.use('GTK')
>>> import matplotlib.pyplot as plt
Traceback (most recent call last):
  File "/home/oriol/venvs/pic_python3.5/lib/python3.5/site-packages/matplotlib/backends/backend_gtk.py", line 17, in <module>
    import gobject
ImportError: No module named 'gobject'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/home/oriol/venvs/pic_python3.5/lib/python3.5/site-packages/matplotlib/pyplot.py", line 115, in <module>
    _backend_mod, new_figure_manager, draw_if_interactive, _show = pylab_setup()
  File "/home/oriol/venvs/pic_python3.5/lib/python3.5/site-packages/matplotlib/backends/__init__.py", line 62, in pylab_setup
    [backend_name], 0)
  File "/home/oriol/venvs/pic_python3.5/lib/python3.5/site-packages/matplotlib/backends/backend_gtk.py", line 21, in <module>
    raise ImportError("Gtk* backend requires pygtk to be installed.")
ImportError: Gtk* backend requires pygtk to be installed.

Mesmo que pip freeze dentro do ambiente virtual inclua pygobject==3.20.0 . Eu pensei que este pygobject pode ser o python2, no entanto, o sys.path no ambiente virtual é:

['', '/usr/lib/python35.zip', '/usr/lib/python3.5', '/usr/lib/python3.5/plat-x86_64-linux-gnu', '/usr/lib/python3.5/lib-dynload', '/home/oriol/venvs/pic_python3.5/lib/python3.5/site-packages', '/usr/local/lib/python3.5/dist-packages', '/usr/lib/python3/dist-packages']