Eu segui este tutorial
E também alterou /etc/X11/xinit/xinitrc
para apontar o gerenciador de janelas que estou usando & executei (no meu caso para XFCE isso foi exec /bin/sh /etc/xdg/xfce4/xinitrc
)
Reinicializou o servidor e agora funciona. Espero que isso ajude.