Bem, você poderia tentar com benchmarks sintéticos. Eles vão te dar uma ideia. O kit de ferramentas NVIDIA'a CUDA, por exemplo, contém alguns programas que são executados em CPU e GPU e pode ser usado para comparar quanto tempo leva para executá-los em cada plataforma.
Se você precisar fazer isso apenas usando planilhas de dados da GPU, você também pode fazer isso. Por exemplo, aqui é a página da minha GeForce 9500 GS. Você pode encontrar informações sobre o número de núcleos de processamento lá. A capacidade de processamento é proporcional à frequência da GPU e ao número do núcleo. Alguns cartões até mesmo têm números de GFLOPS também. Havia um documento com descrições detalhadas mais uniformes disponíveis para cada cartão, mas não consigo encontrar uma maneira de chegar a ele agora. Talvez esteja nos downloads do kit de ferramentas CUDA?
Há também o nível de habilidade de computação que mostra quais recursos cada cartão oferece, mas se eu me lembro corretamente, ele não causa impacto direto na velocidade de cálculo, apenas na precisão e no conjunto de instruções que podem ser usados.
Eu não estou atualizado com informações sobre cartões de outros fabricantes, mas espero que sejam maneiras de obter os dados pelo menos para AMD e Intel também.