O problema que você vê está na rede subjacente. Não no scp em si.
-
Pode estar relacionado com a qualidade do seu link de rede, pode ser que esteja a utilizar o wifi? Verifique a qualidade do sinal.
-
Pode estar relacionado à sua conexão IPSec, por exemplo, problemas de MTU. Tente diminuir a configuração de MTU da sua conexão VPN para 1450 ou até 1400.