Você pode tentar mosh .
Ele é otimizado para conexões de rede lentas e com bugs e faz alguns truques para permitir um trabalho confortável com essa conexão, ou seja, exibe caracteres que você digita rapidamente e não depois que o servidor os envia de volta para você.
A abertura de arquivos infelizmente ainda será lenta, mas os comandos são melhores.