Tente isolar diretamente o cartão que é o problema e não outros fatores em sua máquina. Isso pode ser complicado, tente usar essa placa em outra máquina boa para ver se você experimenta a mesma coisa.
Se você fizer isso, isso deve ser suficiente para convencê-lo de que é um problema com o cartão.
Ao mesmo tempo, você pode testar outra placa gráfica que deve estar funcionando bem em sua máquina e, se não houver problemas com a placa alternativa, confie no restante da configuração do sistema.
Quanto ao software, experimente uma variedade de software de benchmarking gráfico para colocar o cartão em alguns de seus passos, junto com algo como RealTemp ou GPUTemp como um indicador de quão quente está ficando sob carga.