As taxas de FTP caem após um curto período de tempo

Question

Estou tentando transferir vários arquivos grandes (10 de GB até 100 de GB) para um host HP DL380, executando o vsftpd em uma rede / LAN de 10 GigE. A transferência começa inicialmente rapidamente, isto é, 45-60 MB / seg ou aproximadamente a velocidade dos discos. Depois de vários minutos (geralmente cerca de 10-12), a taxa de transferência cai para um gotejamento (250 KB / s ou menos). Fazemos esse tipo de coisa o tempo todo para outros servidores, então parece que há algo com o próprio servidor ou talvez um firewall entre o cliente / servidor.

Estou tentando solucionar esse problema e por que nossas taxas mudam de forma repentina e drástica. Não parece ter nada a ver com carga na rede ou no cliente / servidor. Suspeitamos que tivesse algo a ver com o modo PASSIVO / ATIVO, mas isso não aconteceu (as transferências estão no modo PASSIVO).

Espero que alguém tenha visto algo semelhante, ou seja, uma queda dramática no desempenho do FTP. Algum parâmetro de rede talvez? Um item de configuração no vsftpd?

De qualquer forma, qualquer sugestão apreciada.

    

Answer 1

Antes de zerar o aspecto do FTP, você deve executar alguns testes sintéticos para descartar outras causas. (Eu assumi que tanto o cliente quanto o servidor são Linux desde que você está executando o vsftpd.)

• O pacote de rede cai: Verifique a saída de cat /proc/net/dev no cliente e no servidor para ver se há algum erro ou perda de pacotes.
• Teste de carga de rede: use uma ferramenta de teste de taxa de transferência como iperf com um longo tempo de teste para ver se é possível reproduzir o questão. Monitore o rendimento com cat /proc/net/dev .
• MTU: se você estiver usando 10GbE, poderá ter quadros jumbo ativados (isto é, tamanho de MTU maior que 1500). Se fizer isso, verifique se todos os hosts e dispositivos de rede suportam quadros jumbo e se você não está filtrando pacotes ICMP em qualquer lugar (os pacotes ICMP são usados para a descoberta de caminhos MTU).
• Disco do servidor: no servidor, use dd para ler /dev/zero e gravar em um arquivo local no sistema de arquivos de destino. Monitore o rendimento com iostat .
• Disco do cliente: Pode não ser necessário testar isso, pois é possível FTP com êxito para outros servidores deste cliente.

Se algum dos testes acima mostrar problemas, você deve ter uma pista sobre onde procurar em seguida. Caso contrário, procure no lado do FTP:

• Se uma transferência tiver diminuído, o que acontece se você desconectar e retomar a transferência? É lento imediatamente, ou vai rápido novamente antes de diminuir?
• Você tem um comportamento diferente ao iniciar a transferência do lado do cliente em relação ao servidor (por exemplo, conectando-se a um servidor FTP no cliente)?
• Verifique o uso da memória do servidor FTP e do cliente usando top . Se houver um vazamento de memória, algo pode estar trocando e atrasando tudo.
• Verifique o uso da CPU do servidor FTP e do cliente para qualquer comportamento estranho.

Answer 2

Além da resposta de Tom, você pode querer verificar seus comutadores para garantir sua execução nas velocidades corretas e em full duplex.

    

Answer 3

Eu verificaria o seu disco IO ... Talvez a razão pela qual as transferências pareçam rápidas no começo e depois desacelerem é que no início o sistema operacional está carregando os dados na memória RAM e nos buffers de disco.

A maioria dos sistemas operacionais modernos fará isso para tornar as coisas mais rápidas ...

Assim que a memória RAM e os Buffers de disco estiverem cheios, o que pode levar vários minutos, a velocidade real do disco IO é revelada e a transferência de arquivos fica mais lenta ...

Recentemente publicamos um blog sobre o disco rígido IO para transferências de arquivos de 10 GBPS, por favor, dê uma olhada que pode ajudá-lo ...

link

Divulgação completa: esse usuário é um funcionário do FileCatalyst.