Se você não precisa de uma GUI, você pode simplesmente usar o SSH. O cliente SSH Android mais conhecido é o Connectbot e muitas ROMs Android personalizadas já vêm com um cliente SSH pré-instalado.
Caso você precise de uma GUI, você pode combinar o Connectbot com um servidor X11 para Android, mas isso não funciona muito bem no momento da escrita. Outra opção é usar um visualizador VNC para Android e configurar um servidor VNC em sua máquina Ubuntu .