Eu usei o aplicativo Test Stress Test de memória de vídeo com o mesmo nome por algumas vezes, enquanto alterava a velocidade da VRAM da minha placa de vídeo. Ao contrário do g80memtest, ele não faz uso do CUDA (embora possa!) E deve funcionar bem para o seu cartão. Como o Memtest padrão, um par de horas deve ser suficiente para ver se realmente é o seu VRAM causando o problema, ou qualquer outra coisa.
Se o VMST não encontrar nenhum problema, você também pode experimentar o FurMark, que é uma carga de processador de sombreamento extremamente intensa. Ele não fornece nenhum feedback sobre a existência ou não de erros de renderização, mas se seus artefatos se intensificarem ou se o seu sistema falhar, então é quase um sinal claro de hardware defeituoso.
Boa sorte!