A maneira mais fácil é obter um adaptador USB que seja capaz de criar uma rede wifi. Você então se conectaria à rede wifi e ssh in.
Usando um produto como isso e editando as configurações ( exemplo ) ele transmitirá sua própria rede wifi que o telefone pode conectar. Você pode simplesmente tratar o dispositivo como estava em uma LAN e ssh para o IP correto.