O X pode funcionar sem um ambiente de área de trabalho ou gerenciador de janelas. Isso é o que você obtém se o seu gerenciador de login oferece uma opção "Failsafe".
Dê uma olhada em /etc/X11/xinit/xinitrc . Pode ser o suficiente para executar unset WINDOWMANAGER; startx do console para conseguir isso.