Eu adiciono esta resposta, já que o aceito não faz o material necessário para mim (usando -p não impede que o rsync altere perms no caminho de destino)!
De fato, a opção apropriada aqui (para NÃO mudar perms de material existente) é --no-perms
rsync --no-perms src/ /dest
Daqui em diante, extraia do rsync
man:
In summary: to give destination files (both old and new) the source
permissions, use --perms. To give new files the destination-default
permissions (while leaving existing files unchanged), make sure that
the --perms option is off and use --chmod=ugo=rwX (which ensures that
all non-masked bits get enabled).