Você poderia instalar o memtest e executá-lo a partir do gerenciador de inicialização. Isso detectará problemas de hardware com a memória principal. Se o matlab atingir uma seção de memória defeituosa, que normalmente não seria usada, isso pode facilmente causar os problemas descritos.
Observe também o uso da memória e a temperatura da CPU durante a execução do matlab. Se a memória estiver cheia, o kernel do sistema operacional normalmente começa a eliminar processos, normalmente isso não causa uma reinicialização a frio. Se a CPU superaquecer, isso pode ser a causa do congelamento ou reinicialização do sistema.