scp usando muita memória

Question

Estou com um problema com o scp sob algumas condições que estão associados à transferência de vários arquivos GB para um Sistema SUSE® LINUX Enterprise Server 9 (kernel 2.6.xx) em um SGI Altix350 com 32 GB de memória.

Eu usei scp -r -p para copiar um diretório para outro no mesmo servidor; por algum motivo, ele começa a usar muita memória, e o cache no comando top cresce muito rápido. O Samba está sendo executado no sistema.

Se você tiver algum comentário no scp ou em uma maneira diferente de copiar um diretório com um grande número de diretórios e arquivos. Eu estaria interessado em ouvir sobre isso.

Obrigado pela sua ajuda KhalilHL

    

Answer 1

Pessoalmente, prefiro usar rsync , pois permite retomar bem as transferências interrompidas.

Para usá-lo localmente:

$ rsync -avP /path/to/source /path/to/destination

Para transferir local para remoto:

$ rsync -avP /path/to/source user@remote:/path/to/destination

Para transferir o remoto para o local:

$ rsync -avP user@remote:/path/to/source /path/to/destination

Os switches que eu usei são:

• -a = Arquivo - crie uma cópia exata da árvore o mais próximo possível
• -v = Verbose - fala por si mesmo
• -P = mostra o progresso das transferências e permite retomar os arquivos parciais.

Answer 2

O mesmo servidor ??

O SCP tem uma tonelada de sobrecarga de criptografia, que é de onde vêm seus problemas de memória. Ele também é tunnelled através do SSH, o que significa que, se você estiver fazendo SCPing entre diretórios na mesma máquina, ele está criando um túnel SSH para ele mesmo , e então criptografando o tráfego que ele precisa para descriptografar.

Por que você não usa apenas CP?

    

Answer 3

Acho que você interpreta mal a saída "top".

the cached in top command growing very fast

O termo "cache" significa "cache do disco rígido". Você está mexendo com arquivos multi-GB, então o Linux vai usar (quase) todo o espaço livre de RAM para ajudar o disco rígido. Uma vez que um processo precisa de mais memória, o kernel do linux irá automaticamente liberar parte do cache e usá-lo para o processo. Este é um comportamento normal e esperado.