Isso acontece porque scp
está tentando obter o máximo de largura de banda possível, e qualquer atraso (por um firewall etc.) pode atrasá-lo. Limitar a largura de banda (com a opção -l) irá corrigir isso.
Por exemplo, você pode querer limitar a largura de banda a 1 MB / s (= 8192 Kbits / s):
scp -l 8192 <file> <destination>
Fonte: link