O desempenho da CPU / GPU é limitado por muitas coisas. A velocidade do relógio é fácil de medir, mas não é o único fator que afeta o desempenho. O comprimento do pipeline (por exemplo, quantos passos são necessários do início ao fim para uma instrução a ser completada), multi-threading, predição de ramificação, etc., todos contribuem para o desempenho do mundo real.
A Ars Technica tinha uma introdução decente sobre isso, mas obviamente ele apenas arranha a superfície.
Quanto às especificações a serem verificadas primeiro, se você está procurando o melhor desempenho para suas necessidades, eu procuraria por referências, não apenas especificações do fabricante. Quais benchmarks são valiosos para você podem ser muito diferentes dependendo da sua aplicação planejada, então você precisará exercitar alguma discrição.