Se você estiver tentando excluir um diretório foo/bar/ , as permissões de bar não serão o fator relevante. Remover o nome bar do diretório foo é uma modificação de foo . Então você precisa escrever permissões em foo .
No seu caso, verifique as permissões do diretório atual com ls -ld .
Você pode encontrar esta resposta a "por que é permitido rm excluir um arquivo sob a propriedade de um usuário diferente?" esclarecedor.