AFAIK, isso acontece, quando um aplicativo é um ponteiro dentro da pasta, esteja ou não, o aplicativo está acessando um arquivo dentro dele.
Tente fechar todos os aplicativos (se eles podem ser fechados) e tente excluí-lo novamente. Ou faça uma reinicialização rápida e exclua-a depois. Ou mesmo se você não puder excluí-lo, então, ele deve ser um vírus ou um setor defeituoso em seu disco rígido. Para o anterior, escaneie e remova usando um AV, para o posterior, tente consertar o setor ou formatar o disco depois de fazer o backup dos dados.