Tente o seguinte comando:
wmname LG3D
Mais detalhes podem ser encontrados em:
Quando inicio o Matlab (R2016b 64 bits; Ubuntu 16.04), só obtenho uma janela transparente após a tela inicial. A interface gráfica parece ser invisível, já que os menus aparecem quando clico em locais aleatórios.
Eu o inicio através do console, e não estou recebendo erros (nem qualquer saída). Se eu lançar o Matlab sem uma GUI e executar "edit", um editor totalmente funcional será aberto.
Tente o seguinte comando:
wmname LG3D
Mais detalhes podem ser encontrados em:
O Matlab é uma dor no DWM. Para usar wmname LG3D, primeiro você precisa instalar o sucklesstools do seu repositório.
Para que você não precise usar o comando wmname toda vez que começar, adicione-o ao seu arquivo xinitrc.
Você também pode precisar alterar o alias de fonte das configurações do Matlab.
A menos que você precise de um simulink, uma alternativa muito melhor é usar o notebook jupyter com um kernel de oitava.