A resposta é que eu sou burro. =)
O Gerenciador de Tarefas é um monitor de memória de um homem pobre e, aparentemente, percebi isso muito bem hoje. Usando o Monitor de Desempenho e o Process Explorer, pude ver que, de fato, meu pool de aplicativos estava obtendo ~ 550 MB de bytes virtuais no primeiro hit da página.
Ainda acho estranho ter um período de carência de 60 segundos antes de o pool de aplicativos ser reiniciado, mas que assim seja. Espero que essa resposta ajude alguém que cometeu o mesmo erro que eu.