Com relação a melhorar a velocidade de compactação:
- Paralelize. link .
- Diferentes algoritmos de compactação (como lzop) são muito rápidos.
- Obtenha implementações otimizadas do zlib. Google intel zlib, por exemplo.
Com relação a melhorar a velocidade de leitura:
- Você só chegará perto de sua taxa de transferência de disco se estiver usando um SSD ou se estiver lendo de seu disco no modo "bloquear". Isso tem a ver com as buscas de arquivos associadas à leitura de arquivos pequenos.
- No linux você usaria algo como
dd if=/dev/sda1 bs=1m | lzop > my_backup.dd.lzop