A placa GTX não pode usar sua memória RAM, e não ajudaria em qualquer caso, uma vez que é muito lento - sua RAM do sistema DDR3 não é tão rápida quanto o GDDR5 na sua GPU e também adicionará latência.
A Nvidia suporta SLI definido como:
Upgrade your rig with a second NVIDIA GeForce GTX GPU to enable SLI, the system turbocharger of choice for gamers, which enables everyone’s favorite titles to be played at the highest screen resolutions with every setting maxed out. NVIDIA SLI supports the use of up to 4 GPUs, and thanks to FCAT, SLI is certified by independent press as fast, smooth and responsive.
O SLI funcionará compartilhando quadros entre as duas GPUs, uma renderizando os quadros ímpares enquanto a outra faz os quadros pares.
No entanto, comprar uma segunda GTX apenas por usar SLI, sem garantia de que vai realmente funcionar no seu computador, parece uma má ideia para mim.
Eu prefiro aconselhá-lo a comprar um novo e melhor GPU. A GTX 1070 é uma placa maravilhosa que aceita todos os videogames. Basta verificar primeiro os requisitos de energia deste beastie em vista da sua PSU, bem como os conectores de energia disponíveis na placa-mãe.