Execute este comando
sudo apt-get install xserver-xorg-lts-trusty libgl1-mesa-glx-lts-trusty:i386
e reinicie.
Isso instalará a pilha gráfica de 12.04.5. Deve funcionar.
Parece que você já removeu o xserver com alguns comandos errados.
E também tente isso
sudo apt-get install ppa-purge
sudo ppa-purge ppa:xorg-edgers/ppa