Linux Riddle de Especialistas: Saída de rede de 10MB / s em NIC de 10GB / s

Question

Eu tenho dois servidores CentOS 6. Estou tentando transferir arquivos entre eles. O servidor de origem possui um servidor de destino NIC de 10GB / s Nd e 1GB / s NIC.

Independentemente do comando utilizado e do protocolo, a velocidade de transferência é de ~ 1 megabyte por segundo. O objetivo é pelo menos alguns dúzias de MB por segundo.

Eu tentei: rsync (também com várias criptografias), scp, wget, aftp, nc.

Veja alguns resultados de testes com iperf :

[root@serv ~]# iperf -c XXX.XXX.XXX.XXX -i 1
------------------------------------------------------------
Client connecting to XXX.XXX.XXX.XXX, TCP port 5001
TCP window size: 64.0 KByte (default)
------------------------------------------------------------
[  3] local XXX.XXX.XXX.XXX port 33180 connected with XXX.XXX.XXX.XXX port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0- 1.0 sec  1.30 MBytes  10.9 Mbits/sec
[ ID] Interval       Transfer     Bandwidth
[  3]  1.0- 2.0 sec  1.28 MBytes  10.7 Mbits/sec
[ ID] Interval       Transfer     Bandwidth
[  3]  2.0- 3.0 sec  1.34 MBytes  11.3 Mbits/sec
[ ID] Interval       Transfer     Bandwidth
[  3]  3.0- 4.0 sec  1.53 MBytes  12.8 Mbits/sec
[ ID] Interval       Transfer     Bandwidth
[  3]  4.0- 5.0 sec  1.65 MBytes  13.8 Mbits/sec
[ ID] Interval       Transfer     Bandwidth
[  3]  5.0- 6.0 sec  1.79 MBytes  15.0 Mbits/sec
[ ID] Interval       Transfer     Bandwidth
[  3]  6.0- 7.0 sec  1.95 MBytes  16.3 Mbits/sec
[ ID] Interval       Transfer     Bandwidth
[  3]  7.0- 8.0 sec  1.98 MBytes  16.6 Mbits/sec
[ ID] Interval       Transfer     Bandwidth
[  3]  8.0- 9.0 sec  1.91 MBytes  16.0 Mbits/sec
[ ID] Interval       Transfer     Bandwidth
[  3]  9.0-10.0 sec  2.05 MBytes  17.2 Mbits/sec
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  1.68 MBytes  14.0 Mbits/sec 

Eu acho que HD não é o gargalo aqui.

    

Answer 1

1. Verifique se o comutador é GigE ou superior

   Na minha experiência (as configurações do disco rígido podem variar os resultados):

   10Base-T ~ 512 KB / s-1 MB / s

   100Base-T ~ 1-3MB / s

   1GigE ~ 3-11MB / s

   10GigE ~ 11-40MB / s

2. Verifique se você tem a negociação automática ativada nas NICs dos dois servidores e o switch

   A negociação sem correspondência é padronizada para o menor denominador comum no caminho

3. Verifique se o switch e as NICs dos servidores estão usando o mesmo tamanho de MTU

   MTU base é 1500. Se seus servidores e switches puderem suportar 9000, tente isso.

Answer 2

Se eu usar o rsync com a opção -W nos servidores conectados uns aos outros com apenas gigabit, a velocidade chega a 80..90MB / s (ou até mais, se o fsync não tiver atingido). Dependendo das unidades (sas ou ssd) sustentadas é de cerca de 70MB / s com ssd e com sas varia entre 10 ... 70MB / s.

Meu palpite é que a chave na qual seu cartão de 10Gb / s está conectado está enviando quadros de pausa para o seu servidor. Leva tempo para se recuperar disso.