O servidor Xorg é o que cuida de desenhar um ambiente gráfico. Quando o Xorg é iniciado, ele também lança um aplicativo com uma GUI. Quando esse aplicativo é encerrado, o mesmo acontece com o Xorg (se bem me lembro). No Ubuntu, esse aplicativo é o ambiente de área de trabalho Unity.
Você deve ser capaz de instalar um servidor Xorg barebones e usar a linha de comando (acho que xinit gedit
deve fazer isso) para fazer com que ele ative o aplicativo desejado. Alternativamente, você pode instalar um gerenciador de janelas leve como o Openbox. Estes são tipicamente menos amigáveis ao usuário do que ambientes de desktop completos como Gnome, Unity e KDE Plasma, mas eles também são muito menores e mais rápidos.