Com o lançamento final oficial, o Ubuntu for Phones traz a ferramenta "android-gadget-service", com a qual você pode gerenciar adb, mtp, tethering USB e ssh.
Conecte seu dispositivo via USB, ative o Modo de desenvolvedor em:
"Configurações do sistema- > Sobre este telefone > Modo de desenvolvedor"
... e corra (do seu PC, certifique-se de ter a tela do telefone desbloqueada, senão o adb se recusará a deixá-lo entrar):
adb shell android-gadget-service enable ssh
Copie sua chave pública para o telefone:
adb shell mkdir /home/phablet/.ssh
adb push ~/.ssh/id_rsa.pub /home/phablet/.ssh/authorized_keys
adb shell chown -R phablet.phablet /home/phablet/.ssh
adb shell chmod 700 /home/phablet/.ssh
adb shell chmod 600 /home/phablet/.ssh/authorized_keys
Agora você pode procurar seu IP no telefone e usar o ssh para se conectar:
adb shell ip addr show wlan0|grep inet
ssh phablet@<IP from above command>