A maneira mais fácil de resolver seu problema com o driver nvidia-304 é instalar todos os pacotes LXDE usando o Synaptic, e também instalar o LXDM, e escolher o lxdm como gerenciador de exibição padrão. Ele mudará completamente o seu desktop, mas pelo menos funcionará, e você também terá o benefício de usar menos recursos do que antes, já que o processo de inicialização e o próprio sistema operacional são mais rápidos e leves em um ambiente lxde.
Quando digo instalar todos os pacotes LXDE, quero dizer que você realmente instala tudo o que é necessário, não deixe o Synaptic escolher as dependências para você, vá e instale todos os pacotes relacionados ao LXDE incluindo o pacote LXDE real :) ou então não funcionará. A instalação do LXDM (gerenciador de exibição do lxde) imediatamente após isso também é essencial para que ele funcione, e não se esqueça de escolher a sessão do LXDE após a primeira reinicialização.