Mover e dividir 5 TB de dados

3

Aqui está o cenário: Eu tenho 5 TB (sim, isso é um T) de arquivos em um servidor Windows que eu preciso migrar para um novo servidor no menor tempo possível e eficiente. (Pense: Robocopy, Rsync, etc como eu pretendo usar diferenciais para fazer isso ao longo do tempo). Os arquivos estão em 41.000 diretórios sob um único diretório pai (d: \ files \ folder1, d: \ files \ folder2, etc).

Como estes estão migrando para um novo servidor, eu quero dividir isso para que eles não estejam todos no mesmo diretório "files", mas sejam divididos tão logicamente quanto possível em várias unidades (tentando ficar em torno de 2 TB tamanhos de unidade para fins de backup e replicação).

O Robocopy não tem uma opção de regex. O rsync exigiria um servidor linux, o que não é impossível, mas adiciona sobrecarga: esse é um movimento do Windows para o Windows. Eu encontrei uma maneira de percorrer os 41.000 diretórios usando o PowerShell e iniciar o Robocopy para cada diretório individualmente, permitindo-me especificar o destino ... mas isso parece ineficiente.

Uma outra opção que considerei é migrar tudo de uma vez e, em seguida, fazer o script de uma cópia para as outras unidades, conforme necessário. Isso significaria copiar 2/3 dos arquivos duas vezes.

Eu perdi alguma coisa óbvia?

    
por Chad Johnson 20.08.2014 / 21:12

1 resposta

0

Eu fiz o rsync do windows 2 usando o framework CygWin alguns anos atrás. O rsync + sshd é definitivamente factível.

Eu também encontrei isso e parece que ele pode tornar o windows-rsyncing mais fácil do que nunca: link

Geralmente, clonamos os dados em discos físicos primeiro para fazer a "primeira sincronização" o mais rápido possível e depois usamos o rsync para mover apenas os deltas / diferenças pela rede.

    
por 20.08.2014 / 22:19