Eu não encontrei um comando que faça isso de uma só vez, mas como o rsync ainda funciona melhor que rm -rf
(especialmente se você tiver um número muito grande de diretórios) aqui estão dois comandos rsync que fazem um "mover" :
rsync -av --ignore-existing --remove-source-files source/ destination/ && \
rsync -av --delete 'mktemp -d'/ source/ && rmdir source/