Isso funcionou para mim (no Ubuntu 16.04):
# apt-get -y install nvidia-cuda-toolkit lightdm-
lightdm
é o gerenciador de janelas que nvidia-*
instala. O traço no final diz apt-get
para desinstalar o pacote, mas a resolução de dependência descobre não instalá-lo em primeiro lugar. Isso ainda instalou xserver-common
(para que você ainda consiga algumas coisas do X11), mas não ativou a inicialização gráfica. (Adicionar xserver-common-
resultou em dependências quebradas.)
PS. Você provavelmente já passou por esse problema, mas essa resposta é para futuras gerações da internet.