I don't know which would give me more performance boost: OC-ing the GPU or VRAM ?
Ambos e nenhum. Depende do jogo, do monitor (resoluções) e das configurações que você usa.
A GPU atual é um chip 'Cabo Verde'. É a lareira que faz seus cálculos. Se não for rápido o suficiente para o seu jogo, mas a memória é mais do que rápida o suficiente, o overclock ajudará. Provavelmente até o lineair. (Isso é um 10% OC pode render 10% de ganho de desempenho).
Na outra extremidade, a CPU pode ser rápida o suficiente, mas passou a maior parte do tempo esperando pela memória. (Por exemplo, quando reproduz UHD ou 4K com antialiassing 8x). Nesse caso, aumentar a velocidade da CPU não ajudará muito, mas aumentará a largura de banda para a memória.
E por último, há muitas situações que se situam entre estas duas e não são mutuamente exclusivas. Como resultado, geralmente é melhor para o OC.
Existem muitas exceções. Alguns cartões são vendidos com um chip GPU fraco e muita memória lenta (o que geralmente não faz sentido em uma escala média de desempenho, mas as pessoas tendem a comprar placas gráficas com a maior quantidade de memória possível na vaga, mas falsa ideia de que isso também deve ser o cartão rápido '.
O HD7750 não é um deles. Ele tinha uma rápida GPU com fome de memória e memória GDDR5 (rápida!) Adequada. Empurre a equipe GPU (também conhecida como AMD) para ter feito sua pesquisa sobre isso e aumentar tanto para manter esse equilíbrio.
Nota 1: Se você jogar em tempo real, a resolução pode ajudar muito a suavizar a tela. Por exemplo. digamos que sua resolução nativa seja 2560x1440. Defina o jogo para apenas 1280x720. Dessa forma, o cartão tem que fazer apenas ¼ th dos cálculos.
Nota 2: Fique de olho no consumo de energia. Certifique-se de que o seu PSU pode lidar com o extra + 12v necessário antes de você. Ditto resfriamento.