Um dos principais problemas com o OpenVZ, do ponto de vista do sistema operacional convidado, é que é possível que o SO host supercomoda sua RAM, permitindo que uma VM use temporariamente mais a quantidade que é garantida. É um problema para processos que usam muita RAM e assumem que, uma vez alocados, podem mantê-lo assim por motivos de cache.
O IIRC da maneira como o Mongo usa arquivos e memória não permite um método de limitar a quantidade de memória que ele pode tentar usar. Se achar conveniente, ele usará toda a memória disponível, menos um pouco para o restante do sistema operacional e, sob o OpenVZ, o valor máximo alocado não será garantido.
Eu já vi falar de uma maneira de limitá-lo no Windows 2008r2 ( veja aqui ), mas isso não ajuda você com o CentOS rodando no OpenVZ. Uma opção que você pode tentar é definir a alocação máxima de RAM das máquinas virtuais para ser a mesma alocação garantida (ou mover para uma solução de virtualização que não compromete a memória) - isso deve desencorajar o Mongo e o Kernel a criar um OOM instável situação.