Como você está recebendo alertas de memória? Você já fez alguma análise de processo para ver se o uso da memória está de alguma forma fora da norma? Lembre-se de que o LSASS e o cache crescerão até o ponto da memória física.
ATUALIZAÇÃO:
Não receber alertas no Windows Server 2003 não me surpreende, pois não foi tão eficiente no uso da RAM como o Windows Server 2008. Você quer o máximo de memória usada no servidor de uso, e é por isso que monitorar apenas o uso de memória é uma métrica inútil. A partir do Windows Vista, o Windows usa o máximo de RAM possível. Você pode ver esse mesmo comportamento no Windows 7, trazendo o monitor de recursos e olhando para a guia de memória. Aqui está uma imagem da minha máquina atualmente:
Observe que eu tenho apenas 64MB grátis! Isso é uma coisa boa. (costumava ser 2MB, mas devo ter acabado de fechar alguma coisa). Observe que a barra azul mostra 1369MB de RAM em standby - que é basicamente o cache no sistema de arquivos e se eu precisava de mais RAM em um aplicativo, é daí que as páginas vêm.
Então, o que você precisa saber não é quanto RAM é usada, mas quanto cada aplicativo está usando e se o uso de memória desse aplicativo em particular é normal.
Uma boa maneira de determinar isso (para gerar um alerta de aviso) seria examinar o uso da memória e as falhas de página por segundo. Se você tiver falhas excessivas de página E tiver alta utilização de RAM E tiver pouca RAM em espera, é provável que haja um problema. (em uma página do servidor de arquivos, as falhas não são um indicador de problemas tão confiável, já que estão servindo arquivos - gerando assim falhas de página, você deve basear isso antes de definir um limite)
Espero que esta breve visão geral sobre monitoramento de memória ajude.