Os diretórios precisam ser removidos com a opção "-r". Exemplo:
cd /tmp/
mkdir tmp1
rm -r tmp1
funciona.
Excluir um directy sem o "-r" assume que você deseja excluir um arquivo. Exemplo:
cd /tmp/
mkdir tmp1
rm tmp1
rm: cannot remove ‘tmp1’: Is a directory
rm -r tmp1