Estou tentando analisar os despejos de heap de um servidor que são arquivos bastante grandes (10-15 GB). Eu crio esses arquivos no servidor e quero analisá-los na minha máquina, então, para baixá-los, tentei compactá-los com bzip e gzip. Ambos os programas consistentemente produzem arquivos corrompidos que não podem mais ser descompactados.
Estou usando o ext3 com um tamanho de bloco de 4 KiB, portanto, o limite de tamanho do arquivo deve ser de 2 TiB e, portanto, irrelevante no meu caso. Estou usando o gzip 1.3.12 e o bzip 1.0.5 em uma edição de servidor do Ubuntu Jaunty de 64 bits, em um estado predominantemente baunilhado (apenas adicionei alguns pacotes, nada sofisticado).
Há um RAID-1 em execução, mas não relata problemas ou atrasos de sincronização.
Os dumps são criados com o jmap.
Existe algum tipo específico de dados que faz com que esses programas sufoquem?
O tamanho é um problema?
O que eu poderia tentar descobrir mais ou contornar o problema?
Se este for mais de um arquivo, tente colocá-los em um arquivo tar primeiro
tar czvf dumps.tar.gz file1 file2
ou para compactação bzip
tar cjvf dumps.tar.bz2 file1 file2
Nunca tive problemas com nenhum dos métodos em vários sistemas e sistemas de arquivos.
Também funcionará para 1 arquivo, é claro!
O gzip versões 1.2.4 e anteriores tem problemas para descompactar arquivos maiores que 4Gb (veja: link )
De acordo com o changelog do bzip2, parece que também teve alguns problemas com arquivos maiores antes da versão 1.0.0
Tags compression linux