Eu lutei 3 meses com este tipo de problema com o meu velho AMD 6970HD 2Gb - eventualmente ele morreu. Seu problema parece exatamente o mesmo - especialmente quando você faz overclock na GPU.
Sugiro obter outra GPU para fins de teste, se tudo estiver de acordo, é hora de comprar um novo cartão. Dica gratuita - não overclock, pode custar-lhe bastante quantidade de dólares.