O Gerenciador de Recursos do Windows Server é depreciado no Windows Server 2012. A Microsoft recomenda o uso do Hyper-V para substituir sua funcionalidade (presumivelmente com coisas como priorização de VM e reserva de host), mas isso é reconhecidamente um substituto ruim. Consulte Substituição do Gerenciador de Recursos de Sistema do Windows Server 2012 R2? para detalhes.
Quanto à política de alocação de memória do Windows, você provavelmente deve começar com a série de posts de Mark Russinovich Empurrando os limites do Windows: Memória física .
Acredito que não há como dedicar uma quantidade definida de RAM a um processo em particular a menos que o recurso esteja embutido no aplicativo (por exemplo, MS SQL, IIS Application Pools).