Eu não sei se esta é a melhor maneira de arquivar o que você quer fazer, mas eu usei um código C como este
#include <stdio.h>
#include <stdlib.h>
#define MB(size) ( (size) * 1024 * 1024 )
int main(){
char *p;
if((p = (char *)malloc(MB(256))) != NULL){
memset(p, "A", MB(256));
sleep(300);
}
}
gcc -o mhog mhog.c
echo 1 > /proc/sys/vm/overcommit_memory
e execute ./mhog muitas vezes desta forma
./mhog &
Quando o seu servidor ou computador estiver em situação de falta de memória, você verá o começo usado