Você ainda precisa de uma CPU para:
- Tome decisões. CUDA apenas faz cálculos; ele não tem nada como uma declaração
if
para decidir o que calcular. O código em execução na CPU decide o que será feito e, em seguida, configura o cálculo para execução do CUDA. - Copiar dados para dentro e fora das GPUs. Para acelerar isso, certifique-se de ter o máximo de largura de banda PCIe possível. É provável que isso envolva mais servidores com menos GPUs por servidor, se você se deparar com isso como um gargalo.
- Compile os programas a serem executados nas GPUs.
CPUs são relativamente baratas; não há razão para economizar nisso.