rmdir
excluirá as pastas vazias (deixando outras pastas), para que você possa usar algo como:
rmdir */
Ou, se você estiver usando o bash 4+ e quiser recursividade (outros shells têm outros nomes para a mesma coisa):
shopt -s globstar
rmdir **/
Isso lhe dará muitas mensagens de erro, no entanto (uma para cada pasta não vazia).