Você poderia fazer isso com um par de declarações.
Primeiro, obtenha uma lista de diretórios a serem removidos usando
find -name *.rar -exec dirname {} ';' > toremove
Em seguida, cat toremove para garantir que ele tenha as pastas desejadas. Em seguida, passe para rm -rf usando
sed 's/^/"/g' toremove | sed 's/$/"/g' | xargs rm -r
Por último, rm toremove .