Você pode usar as placas ATI e Nvidia no mesmo sistema, se elas estiverem funcionando independentemente. Para trabalhar em configurações de SLI, você precisará de cartões do mesmo modelo, mas o desempenho do SLI sempre será igual ao cartão de menor desempenho. Por exemplo, você pode rodar um Nvidia 680 com overclock de fábrica no SLI com um padrão nvidia 680, mas o OC 680 fará downclock para os outros 680. Isso é o mesmo para a memória conectada. Se uma placa tiver menos memória que a outra, a SLI será dimensionada para a menor quantidade de memória.
Também é possível no SLI rodar uma terceira placa que não seja do mesmo modelo, mas deve ser dedicada ao physx. Eu ia rodar 2 460's e um 9800gtx e dedicar o 9800 para o physx, mas depois de pesquisar, parecia que o processador 920 i7 eu faria um trabalho melhor, então deixei de fora o 9800 da configuração.
No Crossfire com a ATI, é um pouco diferente. Em vez de ter que rodar duas cartas do mesmo modelo, qualquer carta da série será executada junto com a outra na configuração de fogo cruzado, para que você possa misturar e combinar as cartas do modelo 7xxx, por exemplo.