Meu objetivo é usar os recursos do btrfs para combinar vários arquivos de 3 GB em um único arquivo de 9 GB sem produzir I / O substancial nem usar espaço em disco adicional. Se isso funcionar para esse conjunto de dados, planejo implementar isso em meu pipeline e salvar facilmente um terabyte de espaço em disco.
Minhas tentativas anteriores:
Normalmente, eu cat desses arquivos menores de 3 GB em um único arquivo, produzindo muito i / o. Em btrfs eu tentei duperemove sobre esses arquivos para economizar espaço em disco. Isso funciona apenas para a primeira proporção do arquivo maior, economizando efetivamente 3 GB de 9 GB (o que é bom).
Um método melhor com o mesmo resultado seria usar cp --reflink=always no primeiro arquivo e, em seguida, acrescentar os outros. Isso será substancialmente mais rápido e pulará a demorada etapa de desduplicação, embora eu ainda produza 6 GB de E / S e espaço em disco adicional.
Agora estou procurando uma maneira de usar os recursos do btrfs para combinar esses arquivos como se fossem concatenados um com o outro, ainda que se refiram à extensão original na b-tree. (se meu entendimento do btrfs estiver correto)
obrigado pela sua consideração