Existe uma aplicação do memtester. Se você está rodando o Ubuntu ou algo que toca no repositório que você pode instalar é com:
apt-get install memtester
Isso não pode sinalizar a memória como defeituosa, mas pode alertar o usuário sobre memória ruim, e funcionará essencialmente como memtest86. Cabe a você como você coloca em um script. Aqui está um site para alguma referência: link