O rsync tem uma opção chamada --modify-window = NUM, que você pode usar para reduzir a precisão da comparação de data e hora. Experimente com --modify-window = 1. A opção foi criada exatamente para esse propósito.
O rsync também pode tentar corrigir outros metadados, como a propriedade de arquivos, que são perdidos no FAT32 e nos amigos, então você ainda pode ter problemas mesmo ao usar --modify-window = 1