Em uma etapa do nosso processo de criação, executamos uma ferramenta que gera cerca de 125.000 arquivos. Quando a geração é concluída, nós os copiamos para um compartilhamento de rede para que outros sistemas possam copiá-los para processá-los ainda mais.
Nós vemos um desempenho lento (cerca de -300%) se tivermos que executar a cópia completa dos arquivos da rede. Se já temos os arquivos localmente e eu reinicio o sistema, o desempenho é ótimo.
Minha hipótese atual é de que o Windows possui algum tipo de descritor de arquivo ou de arquivo aberto e a cópia ainda está retendo as tarefas que atrasam o sistema de arquivos.
Nossos gráficos de monitoramento não mostram muito fora do comum e estão, na maioria das vezes, de acordo com um sistema que está realizando bem ... só demora mais. A lentidão é mais visível nos Threads, onde o tempo gasto em torno de 1500 é normalmente muito menor.
Eu também devo observar que os arquivos de 125k estão todos em um diretório. Eu sei que isso afeta o desempenho de iterar a listagem de diretórios, mas não tenho certeza de como isso funcionaria para esse problema.
Qual é a outra extremidade em execução? (Windows, Linux, NAS específico, ...) As duas extremidades usam o SMBv2 para transferência de arquivos? Qual é o desempenho no servidor de destino?
Se nada funcionar, você sempre pode tentar compactar os arquivos em um único arquivo no sistema de origem, transferir esse arquivo e descompactá-lo no destino ...