Sim, isso importa. Dependendo da aplicação, isso varia muito. Na pior das hipóteses, a CPU tem que ser capaz de acompanhar a carga na GPU e ajudar a movimentar os dados. Algo sempre será um gargalo para operações pesadas. É por isso que quando eu construo ou compro um PC, eu nunca gasto uma parte significativa em um componente. Disco, RAM, CPU e GPU devem ser todos comparáveis para obter o melhor desempenho. A menos que você esteja usando apenas um aplicativo o tempo todo, o que leva vantagem muito grande de um componente. Caso contrário, DirectX, OpenGL e OpenCL terão a melhor vantagem quando a GPU estiver emparelhada com um bom CPU também.