Eu tenho uma situação muito fraca no momento de mover dados entre ambientes no trabalho.
Estes dados são dumps de banco de dados, índices Solr ou imagens simples. Nosso processo é: "tarball os dados" + "rsync / scp os dados para outro ambiente / máquina" + "descompactar os dados".
O tamanho desses dados varia de alguns gigabytes a um máximo de ~ 1 Terabytes.
Alguns dos processos são "com script", outros ainda precisam de processamento manual.
De qualquer forma, o principal problema é o tempo para empacotar / descompactar e rsync os dados.
Considerando o desempenho e o "automatismo", existem estratégias melhores para mover dados?
Você pode montar esse sistema de arquivos remoto com sshfs , por exemplo.
sshfs user@remotehoste:<remotepath> <localpath>
Em seguida, você pode ligar simbolicamente os dados onde você precisa ou acessá-los ali mesmo.
ln -s <mountpont/file> <targetlocation>
Mas depende do que exatamente você quer fazer com esses dados.
Outra possibilidade, dependendo do que você está tentando fazer, é replicar os dados no nível do bloco - por exemplo, usando DRBD ou MARS no LVM e usar snapshot para PITR e / ou modificar dados de uma cópia da imagem - apenas esteja ciente que o LVM captura IO muito lentamente no subsistema que está sendo capturado instantaneamente.
Tags rsync scp linux data-transfer