O que você chama de "excluir um arquivo" é simplesmente excluir uma referência ao arquivo em um diretório, e o direito de fazer isso é o direito de modificar o diretório; as permissões de arquivo não fazem parte disso. Se essa foi a última referência ao arquivo, o arquivo é destruído, mas isso é um problema separado.