Está errado. Para deletar algo você precisa escrever permissões no diretório contendo . Isso também vale para os próprios diretórios: para excluir um diretório, você precisa (no mínimo) permissões de gravação no diretório pai. Você pode precisar de permissões de gravação no diretório também, mas isso não é suficiente por si só.
As permissões de gravação no próprio diretório são necessárias quando o diretório não está vazio. Nesse caso, você precisa limpar o diretório primeiro excluindo tudo nele, então você precisa também de permissões de gravação em subdiretórios all (recursivamente). Em seguida, você pode excluir o próprio diretório se tiver permissões de gravação no pai.