Suspeito que você esteja executando o Robocopy no servidor de destino e transferindo arquivos de um servidor de origem. É por isso que você está tendo um desempenho terrível.
Você obterá um melhor desempenho executando a robocopy no servidor de origem e transferindo-a pela rede para o servidor de destino.