Isso pode ser um sinal de problemas de rede - o ping não captura todos os problemas. O culpado mais provável é um firewall ou dispositivo NAT que está descartando a conexão.
Adicionando -v para saída detalhada para scp lhe dará mais detalhes sobre o que está fazendo, e pode dar uma pista melhor sobre o que está acontecendo. Se você quiser postar a saída de uma transferência com falha com a opção -v, talvez eu possa dar uma resposta mais exata.
Conexão redefinida por peer significa exatamente isso - o servidor de destino redefiniu / fechou a conexão. Os dispositivos NAT farão isso se não houver dados enviados por algum tempo ou se não estiverem funcionando corretamente.
Alguns ISPs farão isso como uma forma de modelagem de tráfego para limitar o tráfego peer to peer - infelizmente, alguns aplicam-no também a conexões SSH. Isso provavelmente não será um problema nas conexões comerciais, mas se uma das extremidades tiver uma conexão residencial com a Internet, isso poderá se aplicar.
O servidor SSH no Windows também pode ser escamoso. Você não especifica qual deles usa, mas nem todos funcionam de maneira confiável.
Em um exemplo da vida real de estranheza, eu tinha um amigo que tinha problemas semelhantes - acabou sendo um bug no firmware de seu modem a cabo que corrompeu um em cada milhão de pacotes. Raro o suficiente para que pequenas transferências funcionassem perfeitamente, mas as grandes morreriam toda vez.Ou podem ser apenas problemas normais da Internet. A internet não é 100% confiável e nunca será. Às vezes, as conexões falham, às vezes os pacotes se perdem ao longo do caminho. Às vezes, os minúsculos homens dentro do cabo ethernet entram em greve e não sentem vontade de carregar seus pacotes. Então você precisa de uma ferramenta que possa lidar com isso e continuar tentando até conseguir.
O rsync seria uma escolha melhor aqui, simplesmente porque permite retomar. Esta postagem no blog explica como configurar o rsync com a continuação no lugar de scp. Se necessário, você pode escrever um script de shell simples para verificar o código de saída do rsync e continuar tentando se ele falhar. Esta outra postagem no blog tem um exemplo de tal roteiro.