Se você já se deu ao trabalho de configurar um servidor X separado, você considerou a execução do programa dentro de um X-Server aninhado como o Xnest. Então, você isolaria completamente o programa malicioso em seu próprio ambiente X. Ou se você quiser estar sempre seguro, você pode até considerar algo como o VirtualBox para uma outra VM.