O MongoDB usa arquivos mapeados de memória para todo o armazenamento, parece que você pode limitar o tamanho desses arquivos:
No entanto, se você estiver preocupado com os números de memória grandes exibidos no topo, eles não correspondem (exatamente) ao uso de memória física do Mongo. Parte dessa memória será mapeada em disco, dependendo das configurações do seu cache de io, veja Verificando o uso da memória (MongoDB ) .