Primeiramente, eu recomendo rodar topo e iotop no cliente e no servidor para ver se algum deles está sendo sobrecarregado com CPU, memória ou disco.
Além disso, passar a opção -v para sftp pode revelar detalhes adicionais.
Por fim, o Wireshark permitirá que você veja os detalhes da atividade da rede e, talvez, revele os tipos de erros que estão diminuindo a velocidade você para baixo.