Isso parece um problema sério com sua GPU. Muitas GPUs fazem esse tipo de "falha" logo antes de morrer ou queimar.
Seu problema provavelmente é causado por superaquecimento. Tente remover o cartão, soprando toda a poeira com uma lata de gás comprimido (tenha um aspirador pronto). Use o dedo também para alcançar algumas partes; no meu cartão, você tem que retirar a poeira, já que ela se acumula de dentro dentro do gabinete e às vezes até bloqueia completamente o fluxo de ar no cartão.
Se isso não resolver o problema, é provável que seu cartão esteja frito. Desculpe por isso.