Eu entendo que a questão é encontrar uma maneira de limitar a memória usada por um processo, independentemente do impacto do desempenho.
No Windows Server, você pode fazer isso usando uma ferramenta chamada Gerenciador de Recursos de Sistema do Windows, que pode limitar a quantidade de conjuntos de trabalho que um processo usa. Essa ferramenta é instalável (não é instalada por padrão) por meio do console Adicionar recursos no Windows Server 2008 R2.
No Windows 7/8/10, não há solução da Microsoft capaz de fazer isso. Você precisa instalar um software de terceiros como o seguinte: