Tempo de gzip para descomprimir?

1

Eu queria fazer backup de todo o meu servidor, que está hospedado. Então eu usei dd e gzip para tornar o arquivo menor. O disco foi de 500 GB, mas com menos de 5% utilizado. Eu consegui dd toda a partição em um arquivo gzip de 200 GB pela internet para minha casa em 8 horas. Agora estou tentando descompactar o arquivo em uma partição em um novo disco. Já levou mais de 8 horas e é claro que não tenho como determinar o progresso.

  1. Quanto tempo demora para descompactar em relação à compactação?
  2. Eu assumo que o processador local é o ingrediente chave para determinar quanto tempo demora? (Em vez da largura de banda da rede)
  3. Existe uma maneira de ver o progresso?

Posso fazer isso da próxima vez de uma maneira melhor?

    
por Laurence 26.09.2011 / 15:48

5 respostas

2

Aqui está um artigo que eu vi com alguns benchmarks para o gzip e alguns outros algoritmos de compressão: link . Eu diria que o tempo de descompressão varia de acordo com a velocidade da sua CPU. Além disso, se você observar os testes, parece que a descompressão é quase sempre mais rápida que a compactação.

Editar:

Em resposta a sua última pergunta sobre outras maneiras de fazer backup de seu servidor, encontrei este artigo que fala sobre vários métodos de backup: . Não tenho certeza de qual acesso você tem ao servidor, mas se for um host comercial comum, talvez você possa perguntar ao Suporte Técnico como você deve fazer isso.

    
por ThatOtherPerson 26.09.2011 / 16:02
1

Você não deseja (ab) usar dd desse jeito. Ele perderá tempo copiando os 95% do disco que não está sendo usado, e você obterá uma imagem corrompida se tiver montado de leitura / gravação no momento. Se você quiser fazer o backup do sistema, é melhor certificar-se de desligar todos os serviços que poderiam estar gravando no disco e usar tar .

    
por psusi 26.09.2011 / 17:42
0

A maneira mais simples de examinar o progresso de um processo gzip em execução é simplesmente olhar para o tamanho do arquivo escrito, potencialmente em combinação com watch se você quiser atualizações em tempo real. Se você está lidando com partições que obviamente não são facilmente possíveis.

Uma alternativa para estimar o progresso é usar iotop . iotop mostrará a velocidade na qual os dados são gravados no disco por cada processo no sistema, o processo gzip provavelmente será exibido na parte superior e fornecerá a quantidade de dados processados por segundo. Em seguida, basta multiplicar o MB / s pelo tempo de execução do processo (consulte a coluna ps auxw START) e você terá uma ideia aproximada de quanto tempo levará.

Quanto a outras execuções de backup: use rsync quando quiser copiar dados de um computador em uma rede para outro. rsync lida com compactação e deltas, portanto, você só precisa transferir os dados que você ainda não possui, o que faz com que seja muito rápido para atualizações regulares. O rsync também tem as opções --backup e --backup-dir que podem ser usadas para criar não apenas cópias, mas também backups apropriados que controlam os arquivos excluídos.

E ao fazer diskimages partimage é uma boa alternativa para dd , pois ao contrário de dd partimage está ciente do sistema de arquivos e copiará apenas blocos realmente usados pelo sistema de arquivos, não blocos vazios não utilizados, é assim capaz de criar imagens de disco muito menores em sistemas de arquivos quase vazios. Mas também não é uma boa ferramenta para backup em uma rede, use rsync .

    
por Grumbel 26.09.2011 / 17:42
0

Seu anfitrião deve ter fornecido um plano de backup e (mais preferencialmente) uma interface web para as instalações de backup e restauração. A melhor maneira seria perguntar se eles permitem que você acesse uma cópia de um backup automatizado.

    
por aquaherd 26.09.2011 / 22:12
0

Geralmente descompactar no gzip deve ser mais rápido que a compressão. Eu suspeito que o problema aqui é que o disco de destino é mais lento que o disco do qual ele foi compactado: ou talvez você esteja lendo e gravando no mesmo disco físico que está causando muita procura.

Outras respostas estão corretas de que geralmente é melhor fazer backup dos arquivos, em vez do dispositivo bruto.

Para ver o progresso, eu instalaria pv e depois diria algo assim:

zcat /tmp/myimg.gz |pv -s500G > /tmp/myimg
    
por poolie 27.09.2011 / 01:41