De fato: você não pode alterar as permissões do diretório-filho porque as permissões são armazenadas por arquivo / diretório em -que é chamado de "inode". A esse respeito, é seguro.
Mas o nome do diretório-filho é armazenado no diretório-pai, pois um diretório é um arquivo especial que contém os nomes dos arquivos (e também os diretórios-filhos) que ele contém. E no diretório pai, cada usuário / grupo tem permissões de gravação.
Portanto, um usuário que não possui o diretório filho pode renomeá-lo ou remover o diretório filho se ele estiver vazio. Em alguns sistemas, ele pode até mesmo ser movido para outro diretório em que ele / ela tenha permissões de gravação, se estiver no mesmo sistema de arquivos.