Aqui está a resposta do @Simon no Stack Overflow :
matlab -nosplash -nodesktop -r "my_script; quit"
Editar:
Seguindo a recomendação de Edric, é melhor você usar um desses:
matlab -nosplash -nodesktop -r "try, my_script; end, quit"
matlab -nosplash -nodesktop -r "try, my_script; catch, disp('failed'), end, quit"
matlab -nosplash -nodesktop -r "try, my_script; catch e, your_error_handling_function(e), end, quit"