Um mecanismo para recuperar a memória da VM do servidor de banco de dados no seu exemplo seria o driver de balão VMware (que faz parte do VMware Tools):
This is VMware physical memory management driver which acts
like a "balloon" that can be inflated to reclaim physical pages
by reserving them in the guest and invalidating them in the
monitor, freeing up the underlying machine pages so they can
be allocated to other guests. The balloon can also be deflated
to allow the guest to use more physical memory.
Ver, por exemplo, "3.3 Ballooning" em Compreendendo o gerenciamento de recursos de memória no VMware® ESX Server (pdf) .
Você também pode executar este pequeno script
#!/bin/sh
sync && echo 3 > /proc/sys/vm/drop_caches
na VM do servidor de banco de dados para explicitamente liberar pagecache, dentries e inodes se você tiver certeza de que não precisa mais dos caches.