Você instalou o nvidia-current ou o módulo de dispositivo de atualizações?
Eu tenho o mesmo cartão:
*-display
description: VGA compatible controller
product: C61 [GeForce 6150SE nForce 430]
Antes de 12.04 eu usei o driver atual da Nvidia, mas com 12.04 achei melhor ficar com o driver Nouveau por causa do mesmo problema que você tem. Além de desligar a saída do cartão por alguns segundos durante o login, quando o desktop aparece pela primeira vez, parece funcionar muito bem.