Diga a rsync para excluir os arquivos que não estão na origem, com --delete-during ou --delete-after . Tenha cuidado e use essa opção somente se você não tiver arquivos legítimos no destino que não estão lá na origem.
Veja man rsync .
Claro, você pode excluir manualmente os arquivos detectados com diff ...