Um monte de imagens relativamente pequenas estão lendo a 1 MB / s via Samba

Question

Eu tenho um monte de imagens de tamanho total de 6Gb, mas cada uma delas é relativamente pequena. Estou tentando copiar essas imagens pela LAN e a velocidade de cópia é de aproximadamente 1 MB / s.

Hoje é mais lento que a Internet.

Minha LAN tem velocidade de gigabit. Parece que isso acontece apenas com muitos arquivos pequenos. Quando copio um arquivo grande, a velocidade é superior a 100 MB / s.

É possível tornar o samba mais rápido para um monte de arquivos pequenos?

    

Answer 1

Você não pode tornar o Samba mais rápido para arquivos pequenos, porque o Samba não é o problema.

A melhor maneira de transferir uma grande quantidade de arquivos pequenos é comprimi-los em um arquivo primeiro e depois transferir todo o arquivo. Você pode até achar que todo o processo de comprimir > transferir > extrair seja mais rápido do que transferir todos os arquivos.

O motivo são duas partes, sobrecarga e operações no disco rígido. Há mais sobrecarga na rede ao transferir vários arquivos em comparação a um único arquivo, já que cada arquivo tem muitos atributos que o acompanham. E o seu disco rígido trabalha mais para alocar espaço para escrever cada pacote a partir do seu buffer. Se você tem uma unidade mecânica, também é preciso levar em consideração o tempo de busca adicionado e a operação do disco rígido de ajustar os dados em setores. Os SSDs não são tão afetados.

Você encontrará o mesmo problema ao transferir arquivos do HDD para o HDD ou do drive USB para o HDD. É a sobrecarga de muitos arquivos individuais.