Você quer dizer que começa a copiar tudo de novo, porque mesmo que eles já estejam lá, eles têm timestamps diferentes porque você os copiou por si mesmo?
O --size-only
flag, ou --checksum
, pode ser o que você precisa para parar com isso, mas na primeira vez que executar o rsync sem esse sinalizador, ele retornará a esse comportamento.
Provavelmente você pode executá-lo com segurança o tempo todo com --checksum
, eu acho que isso pode não ser um problema.