Encontrei uma maneira que funciona e espero não ter quebrado nada no processo. No começo eu tentei editar a primeira linha em / usr / local / bin / pip para alterá-lo do python 3 para o compilador python 2, mas recebi um erro dizendo que não havia nenhum módulo chamado pip!?
Então eu pensei que talvez eu precise instalá-lo para o python 2. Então eu fui lá e salvei o get script -pip.py eles ofereceram. Há um aviso de que ele pode quebrar coisas para o sistema operacional, mas como o xenial usa apenas o python3, decidi arriscar. E funcionou:
$ sudo -H pip install numpy
Requirement already satisfied (use --upgrade to upgrade): numpy in /usr/local/lib/python2.7/dist-packages
$ sudo -H pip3 install numpy
Requirement already satisfied (use --upgrade to upgrade): numpy in /usr/local/lib/python3.5/dist-packages
Ainda há o problema potencial que as coisas estão em / usr / local que muru mencionou, mas eu não sei muito sobre isso e se as coisas continuarem funcionando eu não vou reclamar. As únicas maneiras que eu adicionei pacotes são apt-get e alguns arquivos .deb em raras exceções (como chrome iirc).