Talvez você possa usar um servidor X11 dedicado separado para o aplicativo. Isso pode ser tão simples quanto rodar
Xnest :1 &
e depois executar seu aplicativo em DISPLAY =: 1. No entanto, o cursor não é mostrado a menos que o cursor real esteja na janela, e mover o cursor para a janela moverá o cursor Xnest.
Outra alternativa é iniciar um servidor VNC. Isso é um pouco mais independente.
vncserver :1 securitytypes=none -interface localhost
vncviewer :1
Há também o servidor Xephyr
aninhado, que é como o Xnest, mas adiciona muitos
recursos que o servidor subjacente pode não ter e também existe em uma versão com OpenGL.