Usar -t (preservar registros de data e hora) e --size-only só compara arquivos no tamanho. Se o tamanho corresponder, o rsync não copiará o arquivo, mas como -t é especificado, ele atualizará o registro de data e hora no arquivo de destino sem recopiá-lo.
Certifique-se de não usar -u (update), pois isso ignorará os arquivos já existentes e ignorará completamente a atualização do registro de data e hora.
Eu tive o problema de originalmente não usar o rsync para copiar um monte de arquivos para uma nova unidade e, portanto, os timestamps foram atualizados para a hora atual. Eu usei o comando abaixo para sincronizar tudo corretamente em um tempo decente:
rsync -vrt --size-only /src /dest