Você não pode limitar a quantidade de memória que o sistema operacional usa. Supondo que você tenha um pool de aplicativos separado para cada site, defina limites para cada um deles.
Temos um servidor de produção (Windows Server 2008) com 8GB Ram e cerca de 15 sites estão hospedados no servidor. Qual é a memória ideal que precisa ser reservada para o SO, para que a memória restante possa ser dividida entre os sites. Não temos outros processos ou aplicativos em execução no servidor que não sejam websites.