Veja a opção Compression (-C) em man 1 ssh . Pode ajudar em sua circunstância.
Uma pergunta melhor seria "Qual é a latência de ida e volta da minha conexão?", que você pode determinar observando o tempo de ida e volta (RTT) via ping. Dê uma olhada nas opções -s, -M e -U (veja man 8 ping ) para permitir que você ajuste seus pacotes para ver se o problema é pacotes descartados, ou algum outro aspecto de sua conexão de rede.
A distância pode certamente ser um fator em certos tipos de redes (DSL ou satélite, por exemplo), mas tem muito mais a ver com o tipo de rede, o congestionamento da rede e outros fatores que você não mencionou em sua postagem.
Por último, não desconte os problemas do servidor ou do host. Tente testar sua conexão com vários servidores para verificar se você tem um problema limitado a um único host ou se o problema é mais genérico.