Há algumas coisas diferentes que isso poderia ser. Você já tentou localizar o problema mais? Tente desativar a reinicialização agendada e recicle o pool de aplicativos de maneiras diferentes. Além disso, recicle manualmente (suponho que você esteja fazendo tudo isso em um ambiente de teste) o pool de aplicativos para ver qual é o comportamento posteriormente.
Por que o pool de aplicativos é reciclado às 4h? Algum dos arquivos no diretório do aplicativo está mudando?