A arquitetura de uma GPU é projetada para lidar com algoritmos e programas vetoriais, como computação matemática especialmente para gráficos, que não faz muita ramificação e salto e está mais preocupada com o fluxo de dados através do processador. Portanto, é mais simples para isso, enquanto uma CPU de uso geral tem uma arquitetura diferente que pode lidar melhor com os saltos e ramificações às custas do fluxo de dados.
Se você procurar pelo layout de qualquer um desses tipos de CPU, ficará evidente como eles são diferentes.
(Eu sei que esta resposta é um pouco chata, mas eu acabei de acordar e faz anos desde que eu fiz o design do processador.)