Você está enfrentando o processo de esvaziar um buffer local para a unidade real. Quando você copia um arquivo para mídia lenta, seu sistema operacional pode informar que a operação é feita antes que ela seja concluída por motivos de desempenho. Ele realmente controla a operação por si só (na memória), a menos que o programa que você está usando para rastrear o progresso tenha algum tipo de chamada "aguarde o arquivo ser realmente gravado" no final do processo. Isso é o que está causando a espera.
Para cópias de arquivos gerais do Windows, você pode alterar esse comportamento para compensar o desempenho por segurança, alterando as configurações da unidade USB conforme descrito aqui: link
Se você fizer isso, "remover com segurança" será absolutamente necessário para evitar corrupção do sistema de arquivos na unidade externa. Isso deslocará a espera (inevitável) para o momento em que você realmente remover a unidade, com o benefício adicional de que, se posteriormente você fizer mais alterações nos arquivos copiados antes de removê-la, economizará um monte de E / S caras, ser executado diretamente no buffer local.