Finalmente encontrei a resposta para o problema.
Tivemos isso em nosso web.config para o site (apesar de não executar nenhum código gerenciado no site)
<caching enableKernelCache="true">
Depois de alterar isso para false , o IIS parou de executar essas liberações completas. Ele ainda libera alguns arquivos regularmente, mas não é mais um flush completo (cerca de 50 mil arquivos permanecem no cache)
Nosso cache de arquivos atingiu% aumentou de 5% para 33%, então isso definitivamente ajuda muito.
Não tenho certeza porque o cache do kernel causa esse comportamento, mas posso viver com a pequena sobrecarga de cache no modo de usuário.
Pensei em adicionar isso como uma resposta para ajudar outras pessoas com problemas semelhantes.