Se você está montando muitas máquinas, é melhor começar com o servidor e trabalhar "para um farm de renderização". Também os kernels no repositório são bastante intercambiáveis, o que significa que você pode usar um kernel de servidor em um desktop e vice-versa.
Além disso, nunca é recomendável otimizar sem fazer medições. Eu vejo que você está planejando com antecedência, no entanto, até que você tenha algum número de referência você não pode determinar se a latência é um problema ou não.