Você pode usar o Verificador de aplicativos da Microsoft. Ele não oferece muitas opções de gerenciamento de memória, mas permite executar aplicativos em um ambiente com restrição de recursos. Seu uso principal é para criação de perfil / depuração, mas pode ser usado apenas para restringir aplicativos com comportamento ruim.
Além disso, para referência: