Você precisa passar a opção --remove-source-files para o comando rsync. Ele diz ao rsync para remover do lado de envio os arquivos (que não são diretórios) que fazem parte da transferência e foram duplicados com sucesso no lado de recebimento. Não passe a opção --delete para o comando rsync, pois ele exclui arquivos estranhos do diretório de destino.
Mais informações em link