Transferir grande quantidade de arquivos pequenos

Question

Eu tenho que fazer uma migração de dois servidores com grandes anexos de SAN para o nosso novo ambiente VMWare.

EDIT: Eu tenho que fornecer algumas informações adicionais como eu tenho boas respostas sobre a solução VMWare.

Ok, não é possível anexar um EMC LUN anterior no novo sistema devido a algumas limitações de tecnologias no servidor.

Não consigo usar o VMWare Converter para clonar os volumes ausentes na minha nova VM, pois o VMWare Converter não pode ver os pseudo-dispositivos do EMC PowerPath e o administrador anterior usou esses pseudo-dispositivos para criar volumes LVM2 e / ou ASM topo de.

Esses dois servidores físicos estão conectados a uma antiga SAN EMC² CX-340 e lidam com 5 TB de dados.

Esses 5 TB de dados são pequenos PDF e eu preciso transferi-los para a nova máquina através de nossa LAN de 1Gbit / s.

Eu tentei usar rsync , mas é realmente lento e tem um strong impacto no desempenho da RAM e da CPU.

Eu tentei usar NC com TAR, mas a taxa de transferência é muito lenta, já que tenho uma taxa de transferência média de cerca de 50MB / s em um link de 1Gbit / s com tráfego quase zero.

Você poderia me dar algum conselho ou retorno de experiência com esse tipo de migração e como você consegue terminá-lo corretamente dentro de um prazo razoável?

    

Answer 1

Se você realmente precisa de uma maneira rápida de transferir arquivos, e ambos os sistemas são baseados em Linux, você pode tentar UDR .

Esta é realmente uma forma de rsync-over-UDP (usando o framework UDT de código-fonte aberto ) e é particularmente útil para mover grandes números de arquivos ou transferência através de links de alta largura de banda ou de alta latência. Além disso, a criptografia é desativada por padrão, portanto, o número de RAM / CPU é menor do que o rsync tradicional. O SSH também não está envolvido.

Eu posso obter facilmente transferências wire-speed acima de 1Gbps com 10 milhões de pequenos arquivos TIFF em uma árvore de diretórios.

Sua sintaxe será ligeiramente modificada a partir do rsync. Todos os sinalizadores de rsync precisam aparecer antes da especificação de origem / destino:

udr rsync -avP --stats --delete /data/ server2:/data/

Fácil de criar ... Você precisará de g++ e openssl-devel :

git clone https://github.com/LabAdvComp/UDR.git
cd UDR/
make
cp src/udr /usr/local/bin/

Faça isso na origem e no destino.

Veja: Possibilidade de otimização de WAN para tráfego SSH

    

Answer 2

Se usado no modo daemon sem criptografia, o rsync pode transferir eficientemente uma grande quantidade de arquivos pequenos. Tente novamente usando-o no modo daemon.

    

Answer 3

Você não pensou em expor os SAN LUNs diretamente para as novas VMs - isso geralmente funciona bem e pode ser mais rápido do que copiar os arquivos em um VMDK - embora possa "bloquear" as VMs em seu host inicial. Mas você pode usar isso para fazer as coisas, em seguida, migrar os arquivos para um VMDK no seu próprio ritmo - com rsync - e depois cortar o link para os LUNs originais.

    

Answer 4

Se as VMs de destino ainda não foram criadas, você pode tentar usar o VMware Converter gratuito para copiar os dados.

Na verdade, mesmo que eles sejam criados, você pode clonar os discos em uma VM fictícia e anexá-los à VM existente assim que o clone estiver pronto.

Em qualquer caso, o conversor usa dois métodos para clonar arquivos da origem ao destino, cujos detalhes completos podem ser encontrados aqui .

Se os discos de destino estiverem configurados para serem menores que a origem, eles irão clonar arquivos individuais na nova VM.

No entanto, se os discos de destino estiverem configurados para serem iguais ou maiores , ele clona blocos. Isso tornaria a quantidade de arquivos no disco praticamente irrelevante e deve ser executada com relativa rapidez.

Eu duvido que você preencha um canal de 1Gbps, mas você deve obter mais de 50Mbps.

Lembre-se de que você ainda deseja mover 5 TB, o que levará algum tempo.