Como copiar 700K .jpgs do linux para o windows?

Question

Eu tenho 700K + arquivos .jpg no meu servidor linux em uma estrutura de dois níveis, com mais de 6000 diretórios no nível 1 e arquivos individuais .jpg distribuídos entre esses diretórios no nível 2. Esses arquivos ocupam 16GB de acordo com du -ch | grep total . Há 3,5 GB de espaço livre no disco.

Estou procurando uma maneira sensata de copiar esses arquivos para uma máquina Windows e atualizar a cópia do Windows em intervalos regulares com novos arquivos do servidor linux.

Eu tentei o FileZilla, mas ele só conseguiu ~ 100K arquivos em uma hora, com o load avg no servidor linux em torno de 2. Isso é muito lento e tem muitos recursos. Com 10 conexões, o FileZilla gerenciava apenas ~ 150KB / s em uma linha de 100Mbps.

Espero que seja possível usar tar de diretórios individuais de alguma forma para obter "pedaços maiores" enquanto não estiver preenchendo o disco do servidor ..?

    

Answer 1

Posso pensar em duas maneiras de fazer isso que devem funcionar para você:

Solução manual

Use o rsync no compartilhamento de arquivos SMB. Compartilhe uma pasta da sua máquina Windows e, em seguida, monte-o no Linux usando o SMBfs . Você pode então usar o rsync para transferir arquivos:

rsync -av /path/to/source/directory /path/to/mounted/destination/folder

O melhor do rsync é que, se a transferência de arquivos for interrompida, você poderá executar o comando rsync novamente e pulará rapidamente todos os arquivos que já foram transferidos.

Solução automática

Use o BitTorrent Sync . Instale o BitTorrent Sync em suas máquinas Windows e Linux. Você pode adicionar sua pasta de imagens na máquina Linux e compartilhá-la com sua máquina Windows, copiando a chave da pasta. O BitTorrent Sync garante automaticamente que os dois locais sejam mantidos em sincronia.