Você tem permissão de escrita no diretório para poder remover qualquer arquivo dele.
Excluir ou criar um arquivo está modificando o diretório para que você precise de permissões apropriadas, em vez do próprio arquivo. Se você quiser modificar o arquivo, precisará de permissões de gravação no arquivo.
Da mesma forma, você precisa de permissão de leitura em um diretório antes de poder ver quais arquivos estão nesse diretório e, em seguida, precisará de permissão de leitura nos próprios arquivos, se quiser ver o que há em cada arquivo.