Eu fiz isso:
sudo apt-get install python3-pandas
Mas também precisavam de outros assim:
sudo python3 -m pip install --upgrade numexpr
Seja o que for que você faça, não desinstale ou modifique o padrão python, python2 ou python3. O sistema usa python e as alterações vão quebrar totalmente o Ubuntu.