Eu fiz mais algumas pesquisas no google e descobri em ubuntuforums que gpu-manager estava causando a confusão.
Eu tentei fazer aticonfig --initial --adapter=1 para gerar um arquivo xorg.conf , mas o arquivo foi substituído por um arquivo quase vazio na reinicialização.
Na reinicialização, meu sistema será padronizado para a GPU integrada. Eu acho que é o driver fazendo essa decisão por conta do arquivo xorg.conf estar incompleto.
Eu tropecei em um relatório de bug no link que me ajudou resolver o problema (temporariamente pelo menos).
A solução temporária no relatório de erros era comentar as linhas start on no início do arquivo /etc/init/gpu-manager.conf , o que deve impedir que o gerenciador gpu seja iniciado quando lightdm iniciou e substituiu meu arquivo xorg.conf .
Eu tenho que ler sobre isso para ter uma ideia mais concreta.