Primeiro, é melhor você executar scripts, não funções, senão você não pode voltar ao bash, você permanece com um terminal matlab aberto. Segundo, para executar uma função de qualquer maneira, você escreve um arquivo com a função nele e o executa como um script. aqui está um exemplo:
echo "myFunction([],'some_text',95:99)" > tmp.m
matlab -nojvm -nodisplay -nodesktop -r "tmp;exit"
você pode mais tarde remover o arquivo tmp.m com rm tmp.m quando terminar. Espero que economize tempo para futuros usuários do Matlab no Ubuntu