Provavelmente não.
A afinidade do processador só irá restringir os programas de usar os núcleos não selecionados, de modo que o programa receba apenas menos timeslices do que poderia obter em vários núcleos.
Além disso, dar uma olhada rápida em pyrit mostra as métricas de desempenho junto com diferentes placas gráficas modelos. Isso me diz que o desempenho do pyrit é limitado pelo desempenho da placa de vídeo - não pelo desempenho da CPU.
Mas com todas as coisas em um desempenho próximo ao metal, teste-o . Por exemplo, forçar um processo a usar apenas um núcleo pode reduzir os problemas de cache.