Nvidia com AMD não é uma combinação que eu recomendaria, especialmente porque muitas placas-mãe AM3 possuem excelentes gráficos integrados ATI e também suportam gráficos ATI Hybrid quando combinadas com placas gráficas ATI. Você não vai conseguir isso com um cartão Nvidia. Além disso, com os mais recentes lançamentos de catalisadores, a amd alcançou muito com a nvidia no que diz respeito ao Suporte a Linux (embora definitivamente não haja suporte a VDPAU). Minha sugestão pessoal é gigabyte GA-890GPA-UD3H + Radeon 6850. Mesmo se você quiser ficar com nvidia ir para o Chipset 890GX.
Simplificando, o VDPAU usa o processador de fluxo no seu hardware nvidia para decodificação de vídeo HD, colocando muito menos pressão sobre o seu processador. XVBA a solução concorrente da AMD tem suporte muito limitado no linux. Então, se você está em vídeos HD, você deve ir para a nvidia. O driver de código aberto Radeon funciona lindamente com placas ATI um pouco mais antigas (R500 / R600 / R700) com suporte para evergreen e barts no horizonte. Até mesmo o desempenho do fglrx está agora no mesmo nível do nvidia imho. Eu tenho um radeon hd 4670 que funciona lindamente no Ubuntu 10.10. Eu sou um grande fã da AMD / ATI e tenho 3 sistemas executando o Athlon II / Phenom II e o Opteron, respectivamente. Se você tiver o orçamento, vá para phenom II x6 1090t + hd 6850/70. Killer combo