Você deve ser capaz de encontrar o PID das instâncias X em execução e matar o que não deseja. Por exemplo:
$ pgrep -a X
3885 /usr/bin/Xorg :0 -background none -verbose -auth /var/run/gdm3/auth-for-Debian-gdm-M5IpFT/database -nolisten tcp vt7
$ kill 3885
Sua saída terá mais de um PID, já que você está executando várias instâncias, portanto, escolha a correta.