Parece que quando você usa sua área de trabalho para copiar o arquivo de um servidor para o outro, ele está sendo transferido por meio de seu computador:
Servidor 1 - > Desktop - > Servidor 2
Considerando que, quando você faz login em um servidor e copia o arquivo diretamente, ele não precisa passar pelo computador:
Servidor 1 - > Servidor 2
Usando uma rota mais direta, provavelmente com conexões mais rápidas, o segundo cenário permitirá que o arquivo seja transferido muito mais rápido.