Observe as Configurações avançadas do pool de aplicativos e, em Modelo de processo, você provavelmente terá "Tempo limite inativo (minutos)" definido como 20.
Se o site não for acessado por esse período, o pool de aplicativos será encerrado, liberando seus recursos de volta ao sistema.