Bem, você não mencionou seu sistema operacional.
Em primeiro lugar, se você está executando o Vista ou melhor, você deve ser capaz de executar drivers diferentes para cartões diferentes - o que torna o que você quer possível - isso não vai funcionar no XP eu suspeito.PhyX deve funcionar se você configurar sua placa nvidia como o principal driver de monitor (como deveria) e usar a placa AMD como secundária - phyx funciona perfeitamente com o adaptador de vídeo integrado como adaptador secundário em uma caixa de ponte hera - Eu uso um 660 como um adaptador primário e lida com phyx em borderlands 2 em configurações máximas.
O que você tem em mente deve funcionar bem, supondo que sua PSU tenha o poder de alimentar duas placas. Provavelmente você pode ir com praticamente qualquer qualquer placa de vídeo suportada para isso, então usar a opção mais barata pode funcionar aqui.