Como vejo o vmware-guestd em execução, presumo que isso seja uma VM. Assumindo o ESX, entre no VIC e clique com o botão direito do mouse na máquina. Clique em Edit Settings...
e selecione a guia Resources
. Clique em Memory
e verifique se Unlimited
está marcado em Limit
.
O que provavelmente está acontecendo é que você tem um limite na memória e quando a máquina usa muita memória (aproxima-se ou excede o limite), as ferramentas guest do vmware mantêm a memória "usada" em vez de liberá-la de volta para o ESX , caso seja necessário novamente.
ATUALIZAÇÃO:
"O servidor permite que você ligue uma máquina virtual somente se a reserva da CPU e da memória for disponível ... Quando os recursos não são usados, o host do ESX Server os disponibiliza para outras máquinas virtuais. "
Ele faz isso por meio do driver "balloon" (vmmemctl), que faz parte das ferramentas do convidado. Digamos que sua máquina esteja usando 100MB de RAM, então você roda algum programa e ele pula para até 500MB usados. Agora você pára esse programa e espera que a RAM volte para 100MB. No entanto, isso não acontece. Isso porque, para que o ESXi recupere a memória do sistema operacional convidado (o que acontece mesmo quando há uma reserva), ele deve usar o driver de balão. Para fazer com que o sistema operacional "aja" como se tivesse menos memória, o driver de balão "usa" a memória que o ESXi deseja, para que o SO não possa usá-lo.
IOW, mesmo com uma reserva, o convidado está usando apenas a quantidade de RAM do host que está usando. Quando ele usa mais, o ESX aloca mais RAM do host, que o convidado agora acha que sempre tem disponível. Para "convencer" o convidado de que o novo RAM foi removido novamente, o driver de balão o utiliza. A reserva significa simplesmente "Não inicie a VM a menos que a máquina física tenha 1 GB de espaço livre para carregar o convidado" e não "ofereça ao hóspede 1 GB, independentemente de usá-lo ou não".