Largura de banda da placa Intel 10Gbps

Question

Eu tenho uma placa Intel 10Gbps que possui o controlador 82599 10GbE. O cartão tem duas portas. A folha de dados do controlador diz que suporta PCIe 2.0 (2.5 GT / s ou 5.0 GT / s)

Agora, de acordo com a página de perguntas freqüentes do PCIe SIG (link: link ) diz que para uma taxa de símbolo de 5,0 GT / s, o PCIe fornece uma largura de banda de interconexão de 4 Gbps e uma pista por direção de 500 MB / s)

Fiz um teste netperf no cartão (conectei dois desses cartões via OFC back-to-back sem nenhum switch in-between) e a largura de banda de cerca de 3.3Gbps (que é de cerca de 400MB / s)

Meu cartão é subutilizado ou esses números são adicionados? Por que não recebo 10 Gbps completos no cartão (e só ganho 3,3 Gbps)

(O cartão tem x4 em um slot x8)

Atualizar : A placa de rede vai para um slot configurado como PCIe 3.0 e um slot x8 (suporta até 8.0 GT / s). E quanto ao próprio conselho, bem é uma placa Freescale (Processador: T4240). Então eu imaginei que a placa poderia estar ok, com o cartão sendo mais lento dos dois.

Obrigado antecipadamente.

    

Answer 1

Existem muitos motivos pelos quais você pode não estar vendo 10Gbps no link. Eu posso oferecer o seguinte:

O
• PCIe 2.0 oferece uma largura de banda efetiva de 4 Gbps por faixa. Uma placa PCIe 2.0 4x em um slot PCIe 2.0 ou melhor 8x terá um link 4x, fornecendo 20Gbps de largura de banda efetiva. Isso é suficiente para lidar com ambos os links sendo totalmente saturados, supondo que o resto do seu hardware possa lidar com isso.
• Muitos sistemas operacionais para servidores e desktops de uso geral não estão configurados por padrão para lidar com redes de alta largura de banda.

Para obter um desempenho completo desse cartão, você deverá:

• Desative qualquer coisa que restrinja o desempenho da rede ou o processamento de velocidade / interrupção da CPU:

Exemplo do Linux :

service irqbalance stop
service cpuspeed stop
chkconfig irqbalance off
chkconfig cpuspeed off

• Ativar quadros jumbo de 9K com um comprimento de fila de transmissão alto:

Exemplo do Linux :

ifconfig eth2 mtu 9000 txqueuelen 1000 up

• Aumente os buffers de rede para que eles possam manter o cartão saturado com dados:

Exemplo do Linux :

# -- 10gbe tuning from Intel ixgb driver README -- #

# turn off selective ACK and timestamps
net.ipv4.tcp_sack = 0
net.ipv4.tcp_timestamps = 0

# memory allocation min/pressure/max.
# read buffer, write buffer, and buffer space
net.ipv4.tcp_rmem = 10000000 10000000 10000000
net.ipv4.tcp_wmem = 10000000 10000000 10000000
net.ipv4.tcp_mem = 10000000 10000000 10000000

net.core.rmem_max = 524287
net.core.wmem_max = 524287
net.core.rmem_default = 524287
net.core.wmem_default = 524287
net.core.optmem_max = 524287
net.core.netdev_max_backlog = 300000

Há outros ajustes que você pode fazer no link PCI, como aumentar o tamanho máximo do bloco para 4K. Adequadamente ajustado, você deve ser capaz de aplicar 9,90 Gbps em cada link.

Tenha em mente que o servidor e cliente, e cada salto ao longo do caminho (switch / roteador) deve ser ajustado de maneira similar para não afunilar o fluxo de dados.

    

Answer 2

O mesmo aqui ... acontece que é porque o protocolo de 10Gbps reviveu a codificação do modem antigo ... com um bit start / stop e 8 bits de dados.

A taxa de hoje:

R:512+0 records in
512+0 records out
4294967296 bytes (4.0GB) copied, 6.37415s, 642.6MB/s
W:512+0 records in
512+0 records out
4294967296 bytes (4.0GB) copied, 6.78951s, 603.3MB/s

(isto é executado em um cliente Win7 conversando com arquivos nulos no final do linux - / dev / zero para leituras, e / dev / null para gravações).

Para 'smb / cifs' e um único cliente, unir 2 cartões juntos não taxa de transferência de ajuda (já que o smb / cifs é um protocolo de 1 conexão / cliente). : - (

p.s.-Isso não era verdade, por exemplo, em 1GB e eu não acho que é verdade em 40Gb ... Lame! Parece com o espaço em disco MB! = 1024 ** 2 Bytes emitidos quando saiu pela primeira vez ... uma maneira de fazer com que pareça melhor do que realmente é ...