OK, eu consertei isso na minha máquina. Infelizmente eu não tenho idéia porque o que eu fiz consertou qualquer coisa .. Lembre-se, se você tem seus monitores conectados na GPU da Nvidia, eles vão usá-los para se certificar de que eles estão conectados aos gráficos onboard. Se todos os seus monitores estiverem conectados à sua placa gráfica e você executar o nvidia-smi e ainda visualizar processos como xorg, unity-control-center, tente isto. Procure por drivers adicionais e clique no aplicativo. Você deve ver um menu para sua placa de vídeo nvidia que tem um monte de drivers disponíveis, clique em usar o servidor xOrg e clique em aplicar as alterações. Reinicie o computador. Ao reiniciar, volte para os drivers adicionais e volte para o driver Nvidia que você estava usando antes de mudar para o xorg. Efetue logout e depois novamente. Para verificar se funcionou, digite "nvidia-smi" no terminal e você verá que nenhum processo está sendo executado em seu GPGPU.
Eu não tenho idéia do porque isso funciona, se alguém quiser oferecer uma explicação que seria incrível. Se não, espero que isso funcione para outras pessoas com esse problema. Se não, lamento dizer que não será de muita ajuda.