Eu não acho que você pode fazer isso com filtros rsync. Então, eu excluiria esse arquivo e executaria o rsync uma segunda vez.
err=0
rsync -az --delete --exclude=/path/to/first-time.only source/ destination/ || err=1
rsync -az --ignore-existing --include=/path/to/first-time.only --exclude='*' source/ destination/ || err=1
return $err