Eu verifiquei a lista inteira de arquivos que estão com problemas, então notei que o problema com a exclusão é apenas com KnownDlls . Por isso, adicionei todos os arquivos à lista ExcludeFromKnowDlls . Desta forma, o SO não os bloqueia e, na reinicialização, a exclusão é bem-sucedida. Isso, no entanto, exige uma reinicialização adicional para restaurar o valor original (vazio) de ExcludeFromKnowDlls .