O IIS respeitará esses dois limites.
Se você definir um limite de bytes privados de 500 MB, assim que um processo de trabalho tentar confirmar 501 MB, o IIS executará um novo processo de trabalho e eliminará o antigo.
Se você definir um limite de memória virtual de 3 GB, assim que um processo de trabalho tentar reservar 3.001 GB, o IIS iniciará um novo processo de trabalho e eliminará o antigo.
Se você estiver em uma plataforma de 64 bits, saiba que o aplicativo ASP.NET reserva a memória virtual de maneira agressiva. Por exemplo, eu tenho um aplicativo em um farm que usa apenas 88 MB de bytes particulares, mas agora está com tamanho virtual de 5,4 GB. Eu acredito que a reserva de memória virtual é uma função da RAM física no servidor. Também é importante entender que, em uma plataforma de 64 bits, reservar grandes partes da memória virtual não tem impacto no desempenho.
Basicamente, se você está tendo problemas de consumo de memória em um servidor IIS, a configuração que você deseja limitar é Memória Particular / Bytes, isso é o que corresponde ao uso de memória real.