A exclusão de um arquivo requer permissões de gravação no diretório pai do arquivo. As mesmas permissões que você precisaria para criar arquivos no diretório em primeiro lugar, portanto, seus requisitos são conflitantes: a remoção da permissão de gravação para as residências do usuário para impedir a exclusão também impede a criação de arquivos.
Observe que a criação de arquivos e a exclusão de arquivos são muito semelhantes: em ambos os casos, você está alterando as entradas em um diretório, seja adicionando ou removendo uma entrada.