Em suma, não, o VMWare não sabe (ou se importa) o que um convidado está usando o ram, apenas que está usando-o. A RAM está em uso pelo hóspede, mesmo que esteja sendo usada para algo que o hóspede poderia dispensar se escolhesse.
O VMWare se preocupa apenas com a quantidade de RAM disponível para os convidados em sua totalidade, especialmente quanto está disponível para outros convidados (o que é crítico quando a reserva de hosts é excessiva). Qualquer armazenamento em cache / buffer / troca que o convidado opte por executar (ou não) é o seu negócio, portanto, se você quiser configurar esse comportamento, faça isso no guest. O VMWare não tenta modificar as práticas de gerenciamento de memória do convidado.
Se você quiser que o VMWare ignore o uso de RAM por essa caixa, recomendo que você reconfigure os alertas para ele.