OK, então o que você precisa fazer no mínimo é adicionar mais RAM. Os jogos funcionam melhor quando têm um lugar para morar enquanto estão em execução, e o espaço do swop no disco rígido é de algumas magnitudes muito lentas.
Eu saía e comprava 16GB de RAM e jogava lá. Isso resolveria esse problema.
Se você não quiser apenas atualizar a RAM, poderá desabilitar outros processos intensivos em memória, como a GUI, se houver. Além disso, o servidor MySQL pode estar ocupando boa parte da memória.