Ao digitar um shell em uma conexão SSH, cada caractere que você pressionar precisa ser enviado para o lado remoto, interpretado e enviado de volta para ser exibido, se apropriado. Isso envolve pelo menos um conjunto de pacotes para fazer uma viagem de ida e volta ao seu servidor ssh. Se a sua conexão de rede tem muita latência, isso pode se tornar bastante perceptível. Mesmo que a largura de banda geral seja lenta, se a latência for moderada, é utilizável, mas se o tempo de ida e volta começar a aumentar, a digitação se tornará dolorosa.
A única correção prática para isso é reduzir a latência na conexão de rede. Se isso não for possível, use um shell local e grave scripts para serem executados remotamente, em vez de trabalhar diretamente na máquina remota.