Sua placa gráfica deve lidar bem com os jogos. Como você também formatou totalmente o seu PC, substituindo os drivers e tudo o que poderia causar tais problemas várias vezes, o problema provavelmente é de hardware.
Você deve verificar se a placa gráfica está recebendo energia suficiente - tente ligá-la em um trilho diferente da fonte de alimentação, ou tente com uma fonte de alimentação diferente, se possível.
Se o problema persistir, tente sua placa gráfica em outro computador - se o mesmo problema aparecer também, é provável que a placa esteja quebrada.
O problema também pode ser causado por outros componentes, mas isso deve ser improvável. Você pode querer testar sua RAM com o Memtest e, talvez, executar um teste de estresse na sua CPU.