Você pode usar um servidor SSH na sua máquina Ubuntu e um cliente SSH no telefone para isso. Para o servidor SSH, você pode instalá-lo com:
sudo apt-get install openssh-server
Para o cliente SSH no telefone, o ConnectBot para Android funciona de maneira excelente (especialmente com 'Teclado do hacker' para digitar |
, <
e outras coisas ). Existem clientes para outros sistemas, como estes dois mencionados para o iOS.