"Sempre em execução" é a melhor opção dos sons dela. Passado que você precisaria fornecer mais detalhes.
Você está atualizando o aplicativo frequentemente durante o dia? Em caso afirmativo, você está fazendo coisas na inicialização do aplicativo? Pré-carregando dados no cache / etc?
São as preocupações monetárias / de recursos que você tem para "não executá-lo"? Pode estender o tempo limite de desligamento do AppPool para 12 horas e escrever uma tarefa agendada para atingir seu aplicativo antes de os usuários chegarem lá. Desta forma, pode ser desligado durante a noite.