Seu gráfico de exemplo é meio desatualizado, mas meio que responde à pergunta em questão. A contagem de transistores aumenta com os técnicos (chegando a um processo menor de nm), mas quando certos limites são atingidos, o aumento no desempenho não está mais em par com o aumento da contagem de transistores e esse é o sinal de que uma nova arquitetura é necessária. A história em si é bem longa. Um exemplo do que estou dizendo foi o salto no desempenho da arquitetura Athlon ou o i-core one. Em ambos os casos, prevaleceu nova arquitetura projetada vs. aumento na freqüência (no primeiro caso) ou número de núcleos e frequência (no segundo caso). Seu gráfico mostra exatamente um limite sendo atingido, em que a arquitetura se torna ineficiente para manter-se ativo / maximizado.
Então, basicamente, mais balas em uma arma são boas, contanto que a arma inimiga não ultrapasse a sua. Quando isso acontece, é hora de você projetar sua arma novamente.