Parece que talvez o PSU não seja grande o suficiente para o sistema ou esteja com defeito. Quanto mais intensos forem os gráficos, mais poder será atraído pela placa de vídeo, CPU, unidades, etc. Se você puder ver visivelmente a desaceleração do ventilador, é uma dica nessa direção. Ou o ventilador pode estar com defeito, causando superaquecimento da CPU. Ou pode causar esses problemas.
De qualquer forma, se você acabou de obtê-lo, devolva-o para uma substituição, como sugerido por magicandre1981.