Os drivers da Nvidia parecem ter problemas para recarregar durante a reinicialização do servidor X.
Eu mesmo enfrentei este mesmo problema, usando um cartão GT520. A resposta para mim pelo menos foi postada neste fórum :
Por enquanto, você pode contornar o problema definindo o driver da Nvidia para o modo persistente:
nvidia-smi -pm 1
Corrigido para mim.