(Adicionando uma resposta apenas para marcar esta questão como resolvida)
Como sugerido por @DavidPostill, tentei executar chkdsk
no meu disco rígido. Uma vez que fiz isso, me disse que havia erros em certos índices do arquivo.
E então eu corri o comando chkdsk /f F:
para consertar a unidade. Então eu consegui deletar a pasta.