Você precisa instalar o pacote tk-dev
executando:
sudo apt install tk-dev
Em seguida, reinstale o matplotlib no virtualenv executando:
pip --no-cache-dir install -U --force-reinstall matplotlib
Verifique se o backend TkAgg é usado, verificando se o código a seguir retorna TkAgg
:
python -c 'import matplotlib as mpl; print(mpl.get_backend())'