A permissão para remover e renomear um diretório é determinada pelas permissões de seus pais, não pelas suas próprias (assim como outros arquivos). Basta definir as permissões no diretório para o que você precisa e tornar seu pai -w
.
Dependendo do seu caso de uso, você pode querer tornar o diretório +t
parecido - então os usuários não podem se mover pelos arquivos de outros, apenas pelos próprios.