Você pode usar o fato de que rmdir não removerá um diretório não vazio:
rmdir {,.}?*/ 2>/dev/null
ou, se a sua versão de rmdir tiver a opção:
rmdir --ignore-fail-on-non-empty {,.}?*/
O globo de aparência estranha se expande para incluir diretórios e diretórios ocultos, mas exclui . e .. .
Não é necessário usar find , a menos que você precise acessar os diretórios abaixo do nível atual.
Editar:
Tente:
find -type d -empty -delete
Isso faz uma pesquisa em profundidade e exclui todos os diretórios aninhados vazios.