O PCIe 3.0 x8 fornece largura de banda suficiente para uma placa dual QSFP 40Gbit?

Question

Estou pesquisando duas placas de rede QSFP de 40GBit para um projeto de trabalho e tenho algumas perguntas sobre a largura de banda máxima teórica do PCIe 3.0.

Atualmente estou olhando para uma placa dual QSFP PCIe 3.0 x8 no CDW ( Mellanox MCX314A-BCBT ), mas eu não acho que PCIe x8 forneceria largura de banda suficiente para ambos os links de 40Gbit em 100% de utilização.

Wikipedia afirma que o PCIe 3.0 tem uma largura de banda máxima teórica de 985MB / s por faixa. Assim, pelos meus cálculos, o PCIe 3.0 x8 renderia uma largura de banda máxima de 7880MB / s. Se isso for verdade, a placa saturará a conexão PCIe se ambos os links estiverem a 100% de utilização.

Aqui estão minhas perguntas específicas:

• Qual é a largura de banda máxima que uma placa de rede dupla QSFP de 40 Gbit pode gerar?

• Qual é a largura de banda máxima que um PCIe 8x pode manipular antes da saturação?

• Existe uma maneira fácil de calcular isso?

Answer 1

Fazendo uma pequena análise dimensional

Convertendo 7880 Mbytes por segundo para Gbits por segundo obtemos 63,04 Gbits / seg

(63.04 gigabits per second)/(40 (gigabits per second)) = 1.576

Se você tem um layout como este:

Unidade (1) slot PCIe 3.0, x8 ou maior - > um cartão QSFP fornecendo 1 x 40 Gbps conectado a 8 faixas

Unidade (2) slot PCIe 3.0, x8 ou maior - > um cartão QSFP fornecendo 1 x 40 Gbps conectado a 8 faixas

... então funcionará bem, mesmo levando em consideração o fato de que haverá sobrecarga dificultando o processamento teórico, porque cada slot PCIe terá suas próprias pistas.

Se, no entanto, você tiver um layout como este:

Unidade (1) slot PCIe 3.0, x8 ou maior - > um cartão QSFP fornecendo (2 x 40 Gbps) conectado a 8 faixas

... então não funcionará bem, porque agora, em vez de ter 1.576 vezes mais largura de banda que você precisa, na verdade você tem apenas 0,788x de largura de banda que você precisa.

Eu acho que o fabricante calcula que a sobrecarga de protocolo na camada ethernet irá desacelerá-lo o suficiente para que essa limitação não importe, ou caso contrário, algum gargalo mais abaixo no subsistema de E / S ou rodízio de app (round trips). Parece estranho que eles projetem a placa de forma que o throughput máximo teórico das duas portas na placa exceda o throughput teórico das 8 pistas, mas se você estiver realmente esperando utilizar > 78% de 80 Gbps de taxa de transferência, talvez queira comprar apenas dois cartões (idealmente, com uma porta cada, se você puder encontrar um modelo diferente com isso) e colocá-los em slots separados, com cada slot com pelo menos 8 faixas de largura.

    

Answer 2

What is the max bandwidth that a PCIe 8x can handle before saturation?

A largura de banda máxima de uma única pista PCIe v3 é de 985 MB / s. (8,0 Gbit / segundo).

x8 significa que até 8 pistas PCIe podem ser usadas, o que dá um máximo teórico de 64 Gbit / s.
Isso é menos que dois links de 40Gbit.

Portanto, você não pode executar os dois links a toda velocidade. Pode ser o suficiente na prática embora. Especialmente se o tráfego estiver em rajadas. Contanto que ambos os canais não estourem ao mesmo tempo.