Não, isso está errado. Os jogos são dependentes de CPU e GPU. Isso tem que com muitos fatores, como resolução e tal. Ambos podem ser o gargalo para o seu sistema.
No entanto, o seu antigo Pentium 4 - o que quer que seja - não será capaz de alimentar nenhum dos jogos mais recentes. Além disso, você ainda pode estar executando um antigo sistema AGP, no qual você não poderia usar todas as placas PCI-E 2.0 mais recentes.