10G questões centos6.7 juniper ex4500

5

Eu tenho coçado minha cabeça sobre isso pela última semana e não consigo encontrar nenhuma solução. Então, esse é o meu problema ... Eu tenho um switch Juniper ex4500 10g conectado aos meus servidores através de cabos sfp + twinax.

1º servidor (arquivador): Dell R620

RAM : 96GB
N/W card : Ethernet controller: QLogic Corp. cLOM8214 1/10GbE Controller (rev 58) (2 ports) on bond0 which makes this 20Gbps
OS : centos 6.7 x86_64
Storage : 24 disks connected via perc 810 on RAID 5

2º servidor (computação): Dell R810

RAM : 256GB
N/W card : Ethernet controller: QLogic Corp. cLOM8214 1/10GbE Controller (rev 58) (2 ports) no bond
OS : centos 6.7 x86_64
Storage : single disk 512GB 6Bb/s

3º servidor (computação): Dell R810

RAM : 512GB
N/W card : Ethernet controller: QLogic Corp. cLOM8214 1/10GbE Controller (rev 58) (2 ports) no bond
OS : centos 6.7 x86_64
Storage : single disk 512GB 6Bb/s

Eu tenho um ISO do CentOS 6.7 como o arquivo que estou usando para testar a velocidade de transferência. E foi assim que comecei meus testes. Primeiro, comecei com o servidor 2 e o servidor 3 usando scp centos 6.7.iso root@server3:~/ e a velocidade que está sendo transferida está aumentando para 167 MB / s. Eu percebi que era porque o MTU é de 1500 e eu estou obtendo velocidades mais baixas. Então mudei o MTU no switch para 9214 nas portas que os servidores estão conectados e nos servidores dos arquivos ifcfg-px e reiniciei os servidores. Mas agora a velocidade de transferência aumentou apenas para 200MB / seg. Eu testei com o servidor 1, que tem um vínculo e MTU definido para 9000 Eu ainda tenho 200MB / s.

iperf diz 10g como a largura de banda, mas não consigo ver. O scp tem tanto de sobrecarga que está chegando a 200MB / s?

De qualquer forma, se algum de vocês tem alguma idéia do problema, por favor me avise. é muito apreciado.

Abaixo estão minhas saídas de iperf e scp.

Client connecting to teng.tofu, TCP port 5001

TCP window size: 92.6 KByte (default)
[ 3] local 10.10.113.15 port 58221 connected with 10.10.113.21 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 11.5 GBytes 9.90 Gbits/sec

SCP

100% 3926MB 186.9MB/s 00:21
    
por Bhargav 20.12.2015 / 16:29

3 respostas

2

A limitação é certamente os buffers codificados em SSH e os buffers adicionais codificados no cliente SCP. Você pode contornar isso com o patch ssh HPN mencionado por ewwhite, mas primeiro consideraria outros métodos em vez de modificar seu daemon ssh. Ou crie um segundo daemon ssh personalizado, se precisar.

Se o seu tráfego precisa ser criptografado, existem várias maneiras de configurar uma VPN entre os hosts, então você pode simplesmente usar métodos tradicionais, como o rsync nativo (rsync host :: resource / path vs. rsync host: / path ) ou NFS. O rsync nativo é mais fácil de proteger se você estiver usando uma configuração vpn ad-hoc como o OpenVPN, o Tinc ou o IPSEC nativo embutido no kernel.

Para verificar se a rede não é o seu problema, crie um compartilhamento NFS ou inicie o rsync como um daemon e use o protocolo rsync nativo (sem usar o ssh). Para alcançar 10gb / s, você precisará ajustar os tamanhos do buffer em /etc/sysctl.conf (não está lá por padrão) e provavelmente precisará ajustar as opções padrão dos seus drivers gig-e via /etc/modprobe.d/driver -name.conf que você precisaria ler em cima.

Editar

Se você está apenas olhando para testar suas placas de 10Gb, então ative o iperf3 como um servidor em uma máquina e use o iperf3 como um cliente na outra máquina. Você deve ser capaz de encontrar isso no repo EPEL se estiver usando centos / redhat ou você mesmo pode compilá-lo. iperf3 mostrará a velocidade máxima que seus servidores podem potencialmente obter sem contar a sobrecarga do aplicativo, então será necessário ajustar o sysctl.conf, as opções do driver do módulo gig e obter velocidades mais altas se você precisar isso.

    
por 21.12.2015 / 02:50
0

Não use o SSH / rsync tradicional para isso.

Por favor, tente uma ferramenta como hpnSSH ou algo parecido com UDR para executar uma cópia não criptografada.

Além disso, não sei dizer em que direção você está copiando, mas sua velocidade de ingestão do lado do cliente pode não ser ótima. Você está atingindo o limite máximo de armazenamento?

(não vou comentar sobre a configuração RAID5 de 24 discos)

Veja também: Melhorando a velocidade de grande transferência de arquivos por meio de um link de alta latência

    
por 20.12.2015 / 19:52
-1

O SCP usa o SFTS / SSH para criptografar / decriptar os arquivos. Sua sobrecarga é bastante alta para redes de alta velocidade. Você pode tentar diminuir a sobrecarga de criptografia usando uma criptografia mais fraca, por exemplo, arcfour.

Tente emitir o seguinte comando: scp -o Ciphers=arcfour <local> <remote>

EDIT: se você não se importa com o desempenho do SCP / SSH, então você deve não usar o SCP para avaliar sua LAN. Para testar a velocidade de rede pura, você pode usar netperf ou iperf. Se você se preocupa com o NFS, simplesmente exporte uma montagem NFS com um arquivo grande (por exemplo: um arquivo ISO), transfira-o para a outra máquina e verifique os segundos necessários para a transferência.

    
por 20.12.2015 / 18:28

Tags