Primeiro, vamos colocar o Ubuntu em um estado 'clean', sem nenhum driver nvidia instalado:
sudo apt-get purge $(dpkg -l | awk '~/nvidia/ {print }')
Em seguida, vamos remover o erro do x-server - seguir esta resposta.
Você pode instalar os drivers mais recentes da NVIDIA adicionando o novo PPA ao seu sistema.
Para fazer isso:
sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt-get update && sudo apt-get install nvidia-355
E como OMG! Ubuntu! dizer:
Lembre-se: se o PPA quebrar seu sistema, você poderá manter as duas metades. ;)
OBSERVAÇÃO : O ppa funciona com as versões 12.04.1 a 15.10, portanto, certifique-se de atualizar sua versão para a versão .1 se ainda não tiver feito isso.
EDIT : Acontece que você não consegue que os drivers nvidia GT540M funcionem no Linux.
Confira esta resposta.