Uma possível solução é usar o sshfs para montar e navegar pelo sistema de arquivos remoto com um shell local. Você não terá latência ao digitar comandos, mas apenas ao listar o conteúdo dos diretórios e acessar os arquivos. Isso inclui atraso significativo na conclusão da tabulação, já que isso dispara uma listagem do conteúdo do diretório atual.