Eu preciso mover vários terabytes de informações de um sistema NFS (o sistema NFS está na AWS) para o Amazon EFS, mas preciso movê-los da maneira mais rápida possível. Eu tentei rsync, mas leva muito tempo, e eu também tentei usar paralelo com rsync mas não me dá os resultados que eu preciso.
Os dados consistem em vários diretórios com muitos arquivos pequenos
Existe alguma maneira experimentada e testada de mover dados muito rapidamente e, ao mesmo tempo, ter certeza de que não está corrompida quando chega (como o rsync)?
O caminho mais rápido para mover grandes volumes de dados ainda é o Sneakernet. Assim, Amazon Snowball . Este dispositivo é enviado para a sua localização, onde pode mover até 80 terabytes de dados diretamente da sua rede local através de uma conexão Ethernet de 10 Gigabit. Em seguida, ele é enviado de volta para a Amazon, onde eles carregam os dados em sua conta da Amazon.
Para muitos arquivos pequenos, o limite será o IOPS para o armazenamento de origem e de destino. rsync não acelera as coisas, pois tem que ler todos os arquivos, seu principal benefício é não transferir partes já copiadas de arquivos grandes.
Se você restaurar um arquivo de backup, as leituras serão maiores, sequenciais e com maior taxa de transferência:
cd /mnt/files/
tar -xzf /mnt/backup/files.tar.gz
No entanto, você precisa ter espaço para esse arquivo de backup.
Além disso, o ponto no tempo restaurado pode demorar algum tempo, dependendo do tempo necessário para fazer o backup.