Ainda não consegui encontrar a causa, mas descobri como limpá-la.
Quando copiei um dos arquivos para analisá-lo, descobri que o identificador inválido foi "reutilizado" ou "atualizado" e fechado corretamente. Parece que as operações no arquivo como abrir, copiar, excluir corrigir o identificador. Então, criei o script powershell que primeiro obtém a lista de identificadores usando o Handle v3.51 do utilitário e abrir arquivos afetados. Após a primeira execução, o número de alças diminuiu, o uso de memória física começou a diminuir também e, após algumas execuções, parece ok. A limpeza é agendada todas as noites.
$handlesLog = .\handle.exe -p 4 # 4 is System process id
foreach ($line in $handlesLog)
{
if ($line -match "<here is the pattern of affected files>")
{
$fileToCopy = <full path to the file>
if ([System.IO.File]::Exists($fileToCopy))
{
try
{
$fileStr = New-Object System.IO.FileStream($fileToCopy,[System.IO.FileMode]::Open, [System.IO.FileAccess]::Read)
}
finally
{
$fileStr.Close()
$fileStr.Dispose()
}
}
}
}