Não, isso daria a você "operando ausente", já que você não especificou nada. Colocar um "*" também solicitaria arquivos.
Eu tentaria:
find -mindepth 1 -maxdepth 1 -type d -exec rm -r {} \;
O "mindepth 1" excluirá "." a partir dos resultados, o "maxdepth 1" excluirá a tentativa de fazer sob os diretórios que, de qualquer forma, serão excluídos (criando, portanto, um aviso). Mas, na prática, você pode deixar os dois de fora se concordar em ter alguns avisos "inocentes".