Pare de usar um gerenciador de janelas de composição. Eles usam a GPU para seus efeitos especiais, o que significa que, além do framebuffer em VRAM, todas as janelas são apoiadas por uma textura em VRAM e shaders são usados para renderizar a área de trabalho. Se você usar um gerenciador de janelas mais simples sem efeitos extravagantes ou em 3D, deve haver menos contenção para os recursos da sua GPU.
(Alguns gerenciadores de janelas de composição podem ser executados com recursos de composição desativados, portanto, tente isso antes de ir comprar um gerenciador de janelas inteiramente novo.)