Respondendo a minha própria pergunta, já que percebi que posso testar muito facilmente se é ou não o tempo de busca colocando um monte de arquivos em um arquivo tar e movendo isso. Isso resulta na imagem seguinte , que definitivamente parece indicar que o problema é o tempo de busca para encontrar o próximo arquivo .