Para limpar completamente as configurações ruins na memória, você deve executar uma reciclagem do pool de aplicativos. Isso reinicia o processo de trabalho real do w3wp.exe.
Reiniciar o site é uma breve alteração que realmente não reinicia o pool de aplicativos. Parar e iniciar deve ser longo o suficiente para permitir que o pool de aplicativos seja interrompido, mas também não é consistente.
Para reciclar o pool de aplicativos, encontre o pool de aplicativos que seu site está usando com o link "Configurações básicas" no painel Ações. Em seguida, na seção Pools de aplicativos, você pode reiniciar o pool de aplicativos.
Confira Semana 16 da minha série de vídeos. Explica mais detalhadamente as reciclagens de aplicativos.
Quanto à causa raiz real, o Debug Diag é uma boa ferramenta que permitirá obter um despejo de memória quando o problema ocorrer. Espero que isso lhe dê pistas suficientes sobre a questão raiz.