Isso parece um cenário padrão para qualquer aplicativo de monitoramento decente. Se o vazamento é tão grave que requer uma reinicialização do servidor, suspeito que o pool não paginado esteja preenchendo toda a RAM disponível nesse ponto. É um contador de desempenho que você pode medir (Memory \ Pool Nonpaged Bytes) e ser alertado quando ultrapassar um limite.
Eu não acho que há muita coisa que você possa fazer com o próprio Windows para detectar isso e / ou tomar ações corretivas, embora você possa tentar configurar um disparador no Monitor de Desempenho que reinicialize automaticamente o servidor.
O reinício agendado do IIS é uma opção?
Em todos esses casos, oferecemos um software gratuito de terceiros chamado EventSentry Light que pode detectar automaticamente vazamentos nos contadores de desempenho (por exemplo, a memória o uso continua subindo) e, em seguida, aciona uma reinicialização (por exemplo, se os valores ultrapassarem um certo limite). A versão comercial do EventSentry também coleta dados de desempenho que podem ser revisados com relatórios baseados na Web.