Bem, o driver nvidia é apenas um único pacote que consiste em drivers Xorg e um módulo do kernel que é construído durante o processo de pós-instalação.
Para remover o pacote nvidia padrão, execute:
sudo apt-get purge nvidia-current
Drivers nvidia atualizados estão disponíveis em nvidia-current-updates . Se você tiver instalado, desinstale esse também. Agora, você pode precisar descarregar o driver. Se sudo rmmod nivida não funcionar ("FATAL: Module nvidia is use"), reinicialize.
Continue instalando o pacote novamente:
sudo apt-get install nvidia-current
Neste ponto, você pode precisar fazer outra reinicialização (ou re-login) para carregar os novos drivers.