Eu percebi isso no final. Notei que a razão pela qual estava listando tudo era porque eu estava usando a sinalização -a.
Estou sincronizando com o fat32, então algo sobre o sinalizador -a estava fazendo com que ele tentasse sincronizar todos os arquivos todas as vezes.
Mudei os sinalizadores para -tr e resolvi o problema. Eu não sei o que era sobre o sinalizador -a que estava causando isso, mas sei que o fat32 não é tão detalhado quanto os outros sistemas de arquivos e as comparações de arquivos nem sempre funcionam adequadamente entre os sistemas de arquivos como resultado.