Consegui fazer com que o script falhasse com a opção -v :
#!/bin/bash
ulimit -v 100000
for i in {1..10000000}
do
x="x"$x
done
A página man do Bash diz:
-m The maximum resident set size (many systems do not honor
this limit)