A resposta é um pouco complicada, mas é assim:
O driver de código aberto da Nvidia é muito ruim (graças a eles serem teimosos), mas seu driver proprietário oferece praticamente o melhor desempenho de qualquer GPU no Linux.
O driver de código aberto da AMD é melhor, mas ainda não é bom o suficiente para combinar com seu investimento em uma placa de vídeo moderna, então você acaba recorrendo ao seu driver proprietário, que não é tão bom quanto o da Nvidia.
Então: se você quer mesmo ser totalmente open source, a AMD é uma opção um pouco melhor (embora ainda seja insatisfatória - honestamente, os gráficos Intel são provavelmente os únicos cujo driver de código aberto se compara bem ao Windows desempenho hoje em dia, e isso não era verdade até 2012), mas se você estiver disposto a usar drivers proprietários, a Nvidia é a melhor.
Observe que isso pressupõe que você esteja usando um hardware com menos de 5 anos de idade, disposto a gastar mais de US $ 100 em sua GPU e tenha algum interesse em jogos modernos.