Como você alude ao final da sua pergunta, você precisa adicionar um terceiro fator: a contagem de transistores.
Cada transistor se torna menor, mas como o número de transistores também muda, a área total da matriz não muda em proporção direta ao tamanho do transistor.
Para um exemplo talvez extremo, considere uma CPU mais antiga, como talvez a Intel 80486. Não consigo encontrar imediatamente números exatos e comparáveis, mas a 486 tinha cerca de um milhão de transistores e o que parece ter sido uma manufatura de 600 nm. processo. O Ivy Bridge usa um processo de 22 nm e transmite cerca de 1,4 bilhões transistores em matrizes que variam em torno de 150 mm ^ 2 de tamanho. Com o nível 80486 de tecnologia, estaríamos olhando para um dado na ordem de 1.000 vezes o tamanho do da Ivy Bridge, ou 0,15 m ^ 2.