Encontrei um site que comparou a diferença entre FAT32, NTFS e exFAT em um pen drive. Eles descobriram que o FAT32 era muito mais rápido que o NTFS. Uma vez que eu reformatei meu drive para o FAT32, a maioria dos problemas de velocidade foi embora. Eu não fiz exFAT porque meu PC no trabalho é XP e parece haver problemas.
Comparação da unidade flash USB parte 2 - FAT32 vs NTFS vs ExFAT