Você pode fazer isso com screen
no modo desvinculado. Coloque algo assim em seu script de inicialização:
screen -d -m /opt/matlab_2013b/bin/matlab
Ele criará uma sessão de tela desanexada, que deve permitir que o script seja iniciado. Você pode anexar a sessão da tela normalmente a qualquer momento.
Você quase certamente pode conseguir o mesmo efeito com tmux
, mas eu não usei o suficiente para descobrir.