Isso pode ser causado pela configuração incorreta do MTU.
Atualizar
Esta é uma possível duplicação de transferência confiável de arquivos -over-slow-or-flaky-network-link
Você pode obter a saída de depuração do scp adicionando o argumento -v - página man scp
Minha sugestão seria usar o rsync sobre o ssh
rsync -avz --progress --partial /path/to/copy ssh user@host:~/upload
~ / upload estaria no diretório inicial de seus usuários