Eu estava com sintomas semelhantes, com exceção da janela de comando ou de comando ocasionalmente funcionando. Estou conectando remotamente à caixa do Ubuntu 16.04.2 via TigerVNC. O que resolveu o problema para mim foi definir as seguintes variáveis de ambiente:
export GTK_MODULES = gail: ponte-atk: unidade-gtk-módulo exportar GNOME_DESKTOP_SESSION_ID = isto é depreciado
Mais detalhes podem ser encontrados no repositório de bugs do Octave: link