As permissões, o conteúdo e todos os atributos fazem parte do inode. O nome está na entrada do diretório. As permissões não são herdadas recursivamente.
Quando você exclui um arquivo, internamente você apenas remove um link físico da entrada de diretório para o inode. Quando todos os hardlinks forem removidos e o inode não estiver em uso, o sistema de arquivos recuperará o espaço. Você precisa apenas de permissão de escrita na pasta, independentemente das permissões definidas no arquivo (com exceção da permissão imutável ext). O mesmo para uma pasta vazia.
Quando você exclui uma pasta que não está vazia, precisa de permissão de gravação na pasta que está excluindo e em sua mãe.