Eu tenho um servidor Ubuntu 8.04.4 com um md RAID5 que consiste em 9 unidades. Ao transferir uma grande quantidade de dados para ele (através do vsftpd), notei uma flutuação muito ruim na velocidade de transferência.
Por exemplo, durante a transferência de um arquivo de 20 GB, a cada 100 MB, a transferência seria interrompida por vários segundos. Então, voltaria a ~ 55MB / s. E isso repetiria uma e outra vez; deixando-me com uma velocidade de transferência global de 10MB / s.
O servidor está na mesma LAN de 1 Gb que a máquina em que estou trabalhando, então presumo que a LAN não seja o problema.
Eu observei esse comportamento neste servidor várias vezes no passado sempre que preciso transferir grandes volumes de dados (mais de 200 MB).
Analisando a saída de iostat , top ou nossos gráficos do Cacti, não deu qualquer indicação sobre o que poderia causar esse problema.
Qualquer ideia sobre como diagnosticar um problema como esse seria bem-vinda.
Ainda não tenho ideia de qual foi a causa raiz do problema. No final, suspeitei que a CPU do sistema fosse muito fraca (alta carga média, alta carga cpu).
Hoje eu atualizei o sistema para o Ubuntu 10.04 e o problema parece ter se resolvido. O desempenho ainda não é tão estável quanto eu gostaria, mas em média ele melhorou em pelo menos 10 vezes.
Para ser honesto, eu não usaria transferências FTP para medir velocidades - é um protocolo antiquado, e eu não ficaria surpreso se isso estivesse atrasando você.
Você pode exportar um diretório com o NFS e tentar transferir os arquivos dessa maneira?
O ftp e o samba não usam compactação. Use rysnc com --progress e -Z flags para que a compactação seja usada e o progresso seja relatado.
Se a grande quantidade de dados não for grande número de arquivos, mas poucos arquivos com tamanho grande (> 2 GB), o problema pode estar relacionado a arquivos esparsos.
Além disso, marque 'more / proc / mdstat' quando as velocidades estiverem lentas para garantir que as velocidades não fiquem lentas devido à nova sincronização da matriz md.