Eu não sei se a lentidão é devido à fragmentação, ou não. Quão cheia é a unidade? Se estiver cheio, pode ser mais lento e, apesar das tarefas agendadas do Windows, você pode desfragmentar manualmente.
Eu definitivamente o converteria em NTFS, que é mais estável e tem melhor controle de acesso. Você pode fazê-lo com este comando e, embora não deva perder dados (nunca vi essa falha em 17 anos), você deve sempre ter um backup de qualquer maneira.
convert x: /fs:ntfs
X sendo a letra do seu volume FAT32