A solução foi atualizar meu driver gráfico da Nvidia para uma versão mais recente. Eu não sugiro isso, a menos que você esteja enfrentando esse problema, no entanto, o novo driver está funcionando perfeitamente para mim e parece ter corrigido esse problema.
Para adicionar corretamente um driver nvidia mais recente:
1) Adicione o repositório X-swat:
sudo apt-add-repository ppa:ubuntu-x-swat/x-updates
2) Execute uma atualização:
sudo apt-get update
3) e finalmente uma atualização para aumentar seu número de versão atual da nvidia:
sudo apt-get upgrade
Não importa o que você faça, NÃO instale uma versão mais recente do site da Nvidia, apenas use este ppa. Não funcionará sem alguns ajustes pesados e eu quase destruí minha instalação.