Leia - delete em man rsync com cuidado, ênfase minha:
This tells rsync to delete extraneous files from the receiving side (ones that aren’t on the sending side), but only for the directories that are being synchronized. You must have asked rsync to send the whole directory (e.g. "dir" or "dir/") without using a wildcard for the directory’s contents (e.g. "dir/*") since the wildcard is expanded by the shell and rsync thus gets a request to transfer individual files, not the files’ parent directory. Files that are excluded from the transfer are also excluded from being deleted unless you use the --delete-excluded option or mark the rules as only matching on the sending side (see the include/exclude modifiers in the FILTER RULES section).
A linha de fundo da história é que ela só faz isso para o que você especificou para ser sincronizado e depende se você especificou um curinga ou não, se você não quer isso, mas quer que isso aconteça em todos os lugares, então você pode especificar o sinalizador --delete-excluded também.