Noções básicas sobre variáveis de status de compactação do ZFS do ubuntu

1

Eu tenho uma VM do Ubuntu que tem um volume contendo alguns conjuntos de dados compactáveis muito muito .

Por esse motivo, convertei o volume em questão para um volume ZFS, porque posso usar a compactação ZFS.

Isso tudo está funcionando muito bem, mas estou confuso com parte da saída de status do ZFS.

durr@graphical:/tank$ du . -h --max-depth=1; echo -----; du . -h --apparent-size --max-depth=1
1.9G    ./carbon
1.9G    .
-----
193G    ./carbon
193G    .

Nota: /tank/ é o ponto de montagem do volume do ZFS.

Então, dê o acima, estou atualmente recebendo ~ 1% de taxa de compactação (isso é esperado, o volume é quase inteiramente Carbono arquivos de dados, que estão quase sempre vazios, então devem ser extremamente compressíveis).

No entanto, se eu perguntar ao ZFS sobre o volume:

durr@graphical:/tank$ sudo zfs get all tank
NAME  PROPERTY              VALUE                  SOURCE
tank  type                  filesystem             -
tank  creation              Mon Dec 25  7:27 2017  -
tank  used                  1.87G                  -
tank  available             239G                   -
tank  referenced            1.85G                  -
tank  compressratio         4.39x                  -
tank  mounted               yes                    -
tank  quota                 none                   default
tank  reservation           none                   default
tank  recordsize            128K                   default
tank  mountpoint            /tank                  default
tank  sharenfs              off                    default
tank  checksum              on                     default
tank  compression           on                     local
tank  atime                 on                     default
tank  devices               on                     default
tank  exec                  on                     default
tank  setuid                on                     default
tank  readonly              off                    default
tank  zoned                 off                    default
tank  snapdir               hidden                 default
tank  aclinherit            restricted             default
tank  canmount              on                     default
tank  xattr                 on                     default
tank  copies                1                      default
tank  version               5                      -
tank  utf8only              off                    -
tank  normalization         none                   -
tank  casesensitivity       sensitive              -
tank  vscan                 off                    default
tank  nbmand                off                    default
tank  sharesmb              off                    default
tank  refquota              none                   default
tank  refreservation        none                   default
tank  primarycache          all                    default
tank  secondarycache        all                    default
tank  usedbysnapshots       0                      -
tank  usedbydataset         1.85G                  -
tank  usedbychildren        18.7M                  -
tank  usedbyrefreservation  0                      -
tank  logbias               latency                default
tank  dedup                 on                     local
tank  mlslabel              none                   default
tank  sync                  standard               default
tank  refcompressratio      4.40x                  -
tank  written               1.85G                  -
tank  logicalused           8.13G                  -
tank  logicalreferenced     8.13G                  -
tank  filesystem_limit      none                   default
tank  snapshot_limit        none                   default
tank  filesystem_count      none                   default
tank  snapshot_count        none                   default
tank  snapdev               hidden                 default
tank  acltype               off                    default
tank  context               none                   default
tank  fscontext             none                   default
tank  defcontext            none                   default
tank  rootcontext           none                   default
tank  relatime              on                     temporary
tank  redundant_metadata    all                    default
tank  overlay               off                    default

O ZFS está relatando uma taxa de compactação de 4.39x ou 4.40x , dependendo de onde você está. No entanto, com a taxa de compactação de ~ 1% anterior, esperaria ver 0.01x ou 99.0x, dependendo de como o ZFS representa seu status.

Pesquisando, não consigo encontrar a documentação sobre o membro compressratio . Definitivamente muda conforme você move os dados, porque eu vi variar, mas o que isso realmente está me dizendo?

Pensando nisso, também tenho a desduplicação do ZFS ativada para esse volume, por isso achei que poderia estar desduplicando os blocos vazios. No entanto, isso não parece correto:

durr@graphical:/tank$ sudo zpool get all tank
NAME  PROPERTY                    VALUE                       SOURCE
tank  size                        248G                        -
tank  capacity                    0%                          -
tank  altroot                     -                           default
tank  health                      ONLINE                      -
tank  guid                        11995166271724776732        default
tank  version                     -                           default
tank  bootfs                      -                           default
tank  delegation                  on                          default
tank  autoreplace                 off                         default
tank  cachefile                   -                           default
tank  failmode                    wait                        default
tank  listsnapshots               off                         default
tank  autoexpand                  off                         default
tank  dedupditto                  0                           default
tank  dedupratio                  1.12x                       -
tank  free                        246G                        -
tank  allocated                   1.69G                       -
tank  readonly                    off                         -
tank  ashift                      0                           default
tank  comment                     -                           default
tank  expandsize                  -                           -
tank  freeing                     0                           default
tank  fragmentation               1%                          -
tank  leaked                      0                           default
tank  feature@async_destroy       enabled                     local
tank  feature@empty_bpobj         enabled                     local
tank  feature@lz4_compress        active                      local
tank  feature@spacemap_histogram  active                      local
tank  feature@enabled_txg         active                      local
tank  feature@hole_birth          active                      local
tank  feature@extensible_dataset  enabled                     local
tank  feature@embedded_data       active                      local
tank  feature@bookmarks           enabled                     local
tank  feature@filesystem_limits   enabled                     local
tank  feature@large_blocks        enabled                     local

Não tenho ideia de onde estão os dados extras, da perspectiva do ZFS. Eu acho que os arquivos são escassos. O ZFS não dedica o espaço em disco a arquivos esparsos imediatamente?

    
por Fake Name 30.12.2017 / 10:28

1 resposta

1

Parece que o ZFS está transformando um arquivo nulo em um sparsefile quando a compactação está ativada. Extraído do comentário de DeHackEd aqui .

  

A resposta mais provável à sua pergunta é que os buracos esparsos não são considerados "compactados". Eles são buracos. Você obtém a mesma coisa no ext4 e não suporta compressão. O ZFS transformará todas as páginas nulas em espaços escassos quando a compactação estiver ativada.

Também criei alguns arquivos em um conjunto de dados do ZFS usando um arquivo esparso, um arquivo criado a partir de /dev/zero e um arquivo criado apenas com o caractere a para obter uma boa compactação.

Comandos usados para criar os arquivos.

  • truncate -s $((1024*1024*1024)) /tank1/sparsefile
  • dd if=/dev/zero of=/tank1/zerofile bs=1073741824 count=1
  • usou alguns loops para ecoar a no afile

Primeiro, verifique a compactação no conjunto de arquivos vazio tank1 .

[root@localhost tank1]# zfs get all tank1 | grep compress
tank1  compressratio         1.00x                  -
tank1  compression           lz4                    local
tank1  refcompressratio      1.01x                  -

Em seguida, crie um arquivo esparso e um arquivo de /dev/zero com um tamanho de 1 GB e verifique a compactação novamente.

[root@localhost tank1]# truncate -s $((1024*1024*1024)) sparsefile
[root@localhost tank1]# dd if=/dev/zero of=/tank1/zerofile bs=1073741824 count=1

[root@localhost tank1]# zfs get all tank1 | grep compress
tank1  compressratio         1.00x                  -
tank1  compression           lz4                    local
tank1  refcompressratio      1.01x                  -

Nada mudou, embora o zerofile deva ser considerado como muito bom e compressível. Ao usar sparsefiles, o espaço nunca é alocado agora, mas apenas sob demanda. Este é o comportamento em qualquer sistema de arquivos, pois este é independente do sistema de arquivos.
Tudo o que é feito é definir o parâmetro Tamanho , mas não aloca blocos como você pode ver em stat .

[root@localhost tank1]# stat sparsefile 
  File: ‘sparsefile’
  Size: 1073741824  Blocks: 1          IO Block: 131072 regular file
Device: 2ah/42d Inode: 2           Links: 1
Access: (0644/-rw-r--r--)  Uid: (    0/    root)   Gid: (    0/    root)
Access: 2017-12-30 15:31:37.512845721 +0100
Modify: 2017-12-30 15:31:37.513845720 +0100
Change: 2017-12-30 15:31:37.513845720 +0100
 Birth: -

[root@localhost tank1]# stat zerofile 
  File: ‘zerofile’
  Size: 1073741824  Blocks: 1          IO Block: 131072 regular file
Device: 2ah/42d Inode: 3           Links: 1
Access: (0644/-rw-r--r--)  Uid: (    0/    root)   Gid: (    0/    root)
Access: 2017-12-30 15:31:41.742838662 +0100
Modify: 2017-12-30 15:31:42.616837203 +0100
Change: 2017-12-30 15:31:42.616837203 +0100
 Birth: -

Assim, o sparsefile e o zerofile são mais ou menos idênticos e têm apenas 1 bloco alocado.
Se fizermos o mesmo em um sistema de arquivos ext4 , poderemos ver a diferença quando os blocos para o zerofile estiverem alocados.

[root@localhost test]$ stat sparsefile
  File: sparsefile
  Size: 1073741824  Blocks: 0          IO Block: 4096   regular file
Device: fd02h/64770d    Inode: 2883724     Links: 1
Access: (0664/-rw-rw-r--)  Uid: ( 1000/    root)   Gid: ( 1000/    root)
Access: 2017-12-30 15:53:46.477442716 +0100
Modify: 2017-12-30 15:53:46.477442716 +0100
Change: 2017-12-30 15:53:46.477442716 +0100
 Birth: -

[root@localhost test]$ stat zerofile
  File: zerofile
  Size: 1073741824  Blocks: 2097160    IO Block: 4096   regular file
Device: fd02h/64770d    Inode: 2884453     Links: 1
Access: (0664/-rw-rw-r--)  Uid: ( 1000/    root)   Gid: ( 1000/    root)
Access: 2017-12-30 15:54:11.014403727 +0100
Modify: 2017-12-30 15:54:11.311403254 +0100
Change: 2017-12-30 15:54:11.311403254 +0100
 Birth: -

Agora, vamos examinar um exemplo com um arquivo, contendo apenas o caractere a com um tamanho de 1 GB no ZFS.

[root@localhost tank1]# du -h afile
33M afile
[root@localhost tank1]# du -h afile --apparent-size
1.0G    afile

[root@localhost tank1]# zfs get all tank1 | grep compress
tank1  compressratio         31.16x                 -
tank1  compression           lz4                    local
tank1  refcompressratio      31.89x                 -

Excelente taxa de compactação e diferente de um arquivo contendo zeros .

    
por Thomas 30.12.2017 / 16:21