Compartilhando minha solução para qualquer pessoa que tenha o mesmo problema.
Em 12.04, instalei o bumblebee para trocar as placas gráficas. Parece que o bumblebee faz com que o Ubuntu 14.04 tenha esse problema.
Eu removi sudo apt-get remove bumblebee*
e meu problema foi resolvido.