Note que o Xephyr / Xnest / vnc-server fará com que o aplicativo converse com um servidor X diferente, mas não o proibirá de falar com seu outro servidor X no qual você está executando o gksu.
O melhor é executá-lo em um servidor X diferente e como um usuário diferente (ou usar um LSM para impedir que o aplicativo se conecte ao servidor X ou leia seu arquivo .Xauthority). Para dar um passo além, você pode fazê-lo rodar em uma jaula chroot, e para dar um passo ainda mais adiante, você pode executá-lo em um contêiner, e dar um passo ainda, ainda mais, executá-lo em um controle total máquina virtual (por exemplo, com kvm -snapshot).
Se você não confia no aplicativo, provavelmente terá que percorrer todo o caminho.