Determinar como a memória está sendo usada até que ponto ela não é tão clara quanto muitos usuários pensam. Eu recomendo ler este excelente artigo no blog msdn:
Foi escrito pelo próprio Mark Russinovich e explica tudo em detalhes e muito melhor do que você provavelmente esperaria ter respondido aqui.