Finalmente, encontrei a solução que funcionou para mim. A questão era com o Bumblebee.
Comutado para tty.
sudo apt-get purge bumblebee*
sudo apt-get install ppa-purge
sudo ppa-purge ppa:bumblebee/stable
Então eu iniciei o X
sudo lightdm start
Depois disso, instalei o driver da Nvidia 331 (usando a guia de drivers adicionais) e reiniciei o sistema e agora ele funciona quase perfeitamente. Eu ainda recebo janelas de erro do sistema na inicialização, mas pelo menos X inicia-se sem problemas.