Você pode dar uma olhada no seguinte artigo .
Informação adicionada pelo OP:
Como explicado no artigo vinculado, você pode definir a métrica de interface para cada interface de rede, com as interfaces numeradas mais baixas tendo prioridade. Descobri que depois de definir a interface usb para ter uma prioridade de 100 (geralmente uma interface muito lenta seria definida para 50) meu dispositivo foi capaz de ser conectado via ssh através de usb, e ainda sou capaz de se conectar a tudo o mais de meu computador.