Consegui excluir as pastas em CSV que estavam bloqueadas por alguns aplicativos desconhecidos. Este método não funcionou para mim.
Então o que eu fiz:
Faça login no gerenciador de cluster de failover e clique com o botão direito do mouse no volume CSV e selecione movê-lo para 'melhor nó'.
Em seguida, faça login nesse nó e, a partir do PowerShell, execute os seguintes comandos para excluir as pastas no volume CSV.
Remove-Item -Force yourfoldername
É isso!