Isso ocorre porque o FAT32 possui 2 segundos de resolução para os últimos tempos de gravação.
Em outras palavras, o que você está vendo é uma limitação do sistema de arquivos: ele não pode armazenar os últimos horários modificados com precisão para o segundo.
Seu programa de sincronização terá que permitir uma janela de alguns segundos ao comparar datas ou usar outro método para descobrir quais arquivos copiar. Você pode verificar os arquivos para comparar o conteúdo; se você não tiver muitos arquivos, isso pode ser razoavelmente rápido.