Isso definitivamente soa como problemas de MTU (como Konerak apontou), é assim que eu testaria isso:
ip link set eth0 mtu 1400
Isso define temporariamente o tamanho permitido dos pacotes de rede para 1400 na interface de rede eth0
(talvez seja necessário ajustar o nome). Seu sistema dividirá todos os pacotes acima desse tamanho antes de enviá-lo para a rede. Se isso corrigir o comando scp, você precisará encontrar o problema dentro da rede ou tornar essa correção feia permanente; )