O AppDomain do ASP.NET é reiniciado sempre que você 'toca' no web.config. É possível desativar a notificação de alteração de arquivo (FCN) para uma pasta, mas geralmente não é a melhor aposta se você puder ajudá-lo. Se você desativá-lo, isso significa apenas que você precisa reciclar manualmente o pool de aplicativos para que as alterações entrem em vigor.
Antes do IIS7, somente as alterações do ASP.NET causariam a reciclagem do AppDomain, mas com o IIS7 e muitas das configurações do web.config, esse é um problema mais comum. Ou seja, alterar um documento padrão no Gerenciador do IIS 7 fará com que o AppDomain recicle agora.
Idealmente, você só precisa manter sua taxa de alteração baixa ou, às vezes, aplicar a alteração ao applicationHost.config (que não causa a reciclagem AppDomain) em vez de web.config.