Com o passar dos anos, meus mentores sempre enfatizaram que havia alguns fatores que poderiam contribuir potencialmente para esse fenômeno, como software de indexação e segurança, mas, no final das contas, o sistema operacional negociava cada transferência de arquivos.
Como exemplo, se você estiver movendo um arquivo AVI muito grande que precisa ser feito apenas uma vez. Por outro lado, se você estiver copiando centenas de arquivos JPG, isso criará um pouco mais de sobrecarga.
Se você está procurando um método para ajudar a atenuar o problema, você pode tentar colocar vários arquivos pequenos em um maior usando o 7-Zip ou algo similar. Provavelmente não fará uma diferença dramática, mas, mesmo assim, tangível.