Pessoalmente, mantenho 3 drivers instalados (1 canônico e 2 proprietários) e alternar entre eles, dependendo do que eu preciso no momento. normalmente o linux funciona melhor com o driver do Xorg, e quando você atualiza o seu Linux distribui muitas vezes grandes atrasos com drivers proprietários (como tela preta, ou o X não inicia depois da atualização), então eu mudo para o Xorg para qualquer grandes atualizações no sistema.
No entanto, para a maioria dos jogos com gráficos decentes e alguns outros softwares gráficos pesados como os drivers proprietários dos estúdios 3D funcionam melhor, e alguns novos jogos simplesmente não são iniciados no driver do Xorg.com a ferramenta "drivers adicionais" no menu dash e a capacidade de adicionar repositórios proprietários ao apt-get para AMD e NVidia é fácil e rápido.