Aqui estão alguns conselhos baseados na minha experiência (testei várias configurações para o centro de HPC da universidade):
Não há diferença quanto ao CPU a ser usado (Intel ou AMD), embora tenha pelo menos (N + 1) núcleos, onde N é o número de GPUs que você possui.
Memória - não menos que suas GPUs.
Placa-mãe: deve ter slot PCI-Express 2.0 x16 para cada placa. A largura de banda do barramento é freqüentemente um fator limitante. Não há necessidade de SLI.
Caso e poder --- apenas considerações gerais (para referência, a GPU típica consome ~ 200W).
Claro, todas as regras comuns se aplicam, eu mencionei apenas aquelas específicas da GPU.