É um pouco trabalhoso, mas eu reinstalaria todo o sistema sem o X (usando o MinimalCD
sudo apt-get update e sudo apt-get install xorg xinit e sudo apt-get install xmonad
... além de todas as outras coisas pequenas que você precisa; cliente de e-mail, navegador da web,
Desta forma você terá um sistema limpo e leve. Digitação startx vai começar X
X não iniciará automaticamente durante a inicialização, você terá que configurar isso.
Uma instalação limpa como essa não terá algumas das ferramentas sofisticadas incluídas em uma estação de trabalho ubuntu vanilla, como o Network Manager . Veja como uma chance de aprender o Ubuntu / linux por dentro.
Use xset e xterm para configurar o protetor de tela / economia de energia, use xrand para definir a resolução do monitor.