Há um problema com o Ubuntu 12.04, em que algumas placas da nVidia não funcionam com os drivers da nVidia que estão no repositório padrão. Além disso, esses cartões não inicializam a propriedade gui.
Eu não sei se o mesmo problema existe no Xubuntu, já que eu não o uso, mas no improviso de que isso é o que está afetando você, então as informações contidas aqui link pode ser útil.
Espero que isso ajude,