Se você tiver uma rede de longa distância rápida, verá que sftp e scp têm aproximadamente a mesma velocidade, que é lenta. Ambos sofrem de problemas de desempenho no openssh subjacente. Com o hardware moderno, isso não se deve à sobrecarga de criptografia, mas sim devido a problemas com a implementação do openssh - ele implementa seu próprio mecanismo de janelas internas que se depara com conexões rápidas.
Esses problemas se tornam mais óbvios em conexões de longa distância (maior latência), mas eu tenho experimentado lentidão mesmo em LANs.
Eles são bem documentados e há patches disponíveis para corrigir o problema. Corrigindo uma das extremidades da conexão pode ajudar; o ideal seria que você remendasse ambas as extremidades. Para obter mais informações e os patches, consulte SSH de alto desempenho no Pittsburgh Supercomputer Center.
BTW, sobrecarga de criptografia pode se tornar um problema também, uma vez que o problema de janelas é resolvido. Os patches têm correções para isso também.
Enquanto isso, você verá que ftp é lamentavelmente inseguro; envia senhas em texto simples.
ftps Penso que envolve o protocolo ftp no SSL. provavelmente é mais rápido que o SFTP / SCP não corrigido.
Uma observação final: na minha experiência, o cliente WinSCP é (pelo menos às vezes) dolorosamente lento. Eu não sei por que, mas com base no seu FAQ eu não sou a única pessoa que teve esse problema. Então, se você está scp'ing do Windows, e parece lento, tente um cliente diferente. Mesmo com um servidor openssh não corrigido, você pode fazer muito, muito melhor com um cliente diferente. Não tenho certeza quais são bons clientes, infelizmente.