Acontece que eu tinha alguns erros no meu disco que estavam causando isso.
Para corrigir isso, fiz o seguinte:
- Acessar meu computador (tecla Windows + E)
- Clique com o botão direito no drive C
- Selecionar propriedades
- Selecione a guia
Tools
- Selecione
Check
emError checking
- Executou a verificação de erros e reinicializou para reparar a unidade
Depois disso, posso excluir o arquivo corretamente.