Existem dois aspectos para isso - o primeiro é ter o processo de gui possuído por um processo que não termina. Existem várias maneiras de conseguir isso, mas ter o próprio tmux é "bom o suficiente" se é como você trabalha atualmente.
O segundo é ter a saída do gui em algum lugar. Se você quiser que a saída do gui vá para a tela do servidor, o processo está sendo executado e também será possível acessá-lo remotamente, então x11vnc é uma boa opção e está presente na maioria das distribuições. Tudo que você precisa é de uma sessão X11, portanto, não uma área de trabalho completa, apenas o suficiente de X para exibir o gui e x11vnc.
Isso expõe a sessão X em que é executada como uma sessão VNC, para que possa ser acessada remotamente. O ideal seria fazer isso com o ssh, já que o vnc não oferece muita segurança.