Você não mencionou o cartão da nVidia que está tentando usar, seria bom saber, pois há diferentes drivers para diferentes tipos de cartão.
Além disso, 512Mb / RAM é um pouco baixo, o Xubuntu pode ser uma escolha melhor. Eu tenho um pressentimento de que os requisitos 3D para a área de trabalho do Unity podem estar causando confusão na sua saída gráfica.