Você deve matar seu Display Manager para desativar todos os frontends do xserver. Pode ser:
mdm - MATE Display Manager
gdm - Gnome Display Manager
kdm - KDE Display Manager
xdm - X Window Display Manager
O correspondente deve ser morto. Por exemplo:
sudo killall mdm
Para iniciar um xserver simples, você deve digitar este comando:
sudo X
Mais informações aqui .
Depois disso, por exemplo, você pode iniciar um xterm nele:
xterm -geometry +1+1 -n login -display :0