Se você estiver executando um aplicativo em cluster, terá muitas opções além da Ethernet, mas precisará descobrir quais características melhor se adequarão ao seu aplicativo. Muitas vezes você precisará fazer uma troca entre baixa latência de comunicações e alta largura de banda. Em situações extremas, você pode querer gastar mais dinheiro para usar um número menor de nós com maior capacidade para reduzir a latência para os níveis de acesso à memória, em vez de acessar a rede. E, claro, você deve dar uma olhada em seu aplicativo para ver se há maneiras de reescrevê-lo para funcionar melhor com as tecnologias existentes.
A Wikipédia oferece uma lista de tecnologias de rede e largura de banda nominal útil que você pode usar para começar sua pesquisa. Isso dá velocidade nominal (a taxa de transferência real que você recebe será menor) e não discute a latência.
Observe que, se você não estiver usando os melhores e mais recentes servidores, primeiro será necessário verificar o que você tem disponível em termos de barramentos internos. Você certamente pode colocar uma placa de 10GigE em um barramento PCI de 66-bit de 66 bits e rodar mais rápido do que com uma placa GigE, mas você não chegará perto da taxa nominal da rede de 1 GB / s porque o barramento pode faça apenas cerca de 500 MB / seg.
Quanto a saber se você deve "usar um switch de roteamento para evitar conflitos de Ethernet", se você estiver falando sobre o uso de um switch em vez de um hub, esses dias são praticamente automáticos. Os hubs são difíceis de encontrar, na verdade. No entanto, nem todos os switches são criados iguais; um que pode manipular dois hosts transferindo a 100 Gbps pode não manipular seis fazendo o mesmo.