Quando você altera os metadados de um arquivo (permissões, propriedade, timestamps,…), você não está alterando o diretório, você está alterando o inode do arquivo. Isso requer a permissão x
no diretório (para acessar o arquivo) e a propriedade do arquivo (somente o usuário que possui o arquivo pode alterar suas permissões).
Acho que isso é intuitivo se você se lembrar de que os arquivos podem ter hard links em vários diretórios. O diretório contém uma tabela que mapeia nomes de arquivos para inodes. Se um arquivo estiver vinculado sob vários nomes em vários diretórios, ainda será um inode com um conjunto de permissões, propriedade etc., que mostra que os metadados do arquivo estão no inode, não no diretório.
A criação, renomeação, movimentação ou exclusão de um arquivo envolve a modificação do diretório, portanto, ele exige permissão de gravação no diretório.