Existe um ponto em que você irá saturar os recursos da sua CPU, e a GPU ficará inativa. Há também um ponto em que você pode ficar sem recursos de barramento. Como é um barramento, há uma quantidade máxima de dados transferíveis por unidade de tempo, o que pode fazer com que as GPU fiquem inativas.
Dito isto, adicionar GPUs não deve diminuir o desempenho, mas não melhorar ainda mais.
Falando computacionalmente, há também alguns problemas que tentar executá-los em uma GPU podem ser mais lentos do que fazê-los em uma CPU. Algoritmos como o scrypt são projetados especificamente para usar uma alta quantidade de memória RAM para evitar as acelerações não lineares recebidas pela implementação em FGPAs e GPUs.
As GPUs fornecem apenas aumentos de velocidade quando ocorrem muitas operações paralelas. Calcular uma única multiplicação não seria mais rápido. As GPUs também não costumam gostar de ramificação (execução de código condicional).