Por que a minha partição de 100 MiB, com tamanho de bloco de 1 KiB, não possui exatamente os blocos / espaços disponíveis correspondentes?

Question

Eu tenho um ambiente virtualizado de densidade muito alta com contêineres, então estou tentando tornar cada contêiner realmente pequeno. "Realmente pequeno" significa 87 MB na base Ubuntu 14.04 (Trusty Tahr) sem se separar a compatibilidade do gerenciador de pacotes.

Então eu uso o LVM como armazenamento de suporte para meus contêineres e recentemente encontrei números muito estranhos. Aqui estão eles.

Vamos criar um volume lógico de 100 MiB (sim, potência de 2).

sudo lvcreate -L100M -n test1 /dev/purgatory

Gostaria de verificar o tamanho, por isso, emito sudo lvs --units k

test1             purgatory  -wi-a----  102400.00k

Doce, isso é realmente 100 MiB.

Agora vamos criar um sistema de arquivos ext4 . E, claro, lembramos do parâmetro -m 0 , que evita o desperdício de espaço.

sudo mkfs.ext4 -m 0 /dev/purgatory/test1

mke2fs 1.42.9 (4-Feb-2014)
Filesystem label=
OS type: Linux
Block size=1024 (log=0)
Fragment size=1024 (log=0)
Stride=0 blocks, Stripe width=0 blocks
25688 inodes, 102400 blocks
0 blocks (0.00%) reserved for the super user
First data block=1
Maximum filesystem blocks=67371008
13 block groups
8192 blocks per group, 8192 fragments per group
1976 inodes per group
Superblock backups stored on blocks:
        8193, 24577, 40961, 57345, 73729

Allocating group tables: done
Writing inode tables: done
Creating journal (4096 blocks): done
Writing superblocks and filesystem accounting information: done

Doce e limpo. Cuidado com o tamanho do bloco - nosso volume lógico é pequeno, então o mkfs.ext4 decidiu fazer um bloco de 1 KiB, não o usual 4 KiB.

Agora vamos montá-lo.

sudo mount /dev/purgatory/test1 /mnt/test1

E vamos chamar df sem parâmetros (gostaríamos de ver 1 KiB-blocks)

/dev/mapper/purgatory-test1     95054    1550     91456   2% /mnt/test1

Espere, oh shi ~

Temos 95054 blocos no total. Mas o dispositivo em si tem 102400 blocos de 1 KiB. Temos apenas 92,8% do nosso armazenamento. Onde estão meus blocos, cara?

Vamos dar uma olhada em um dispositivo de bloco real. A tem um disco virtual de 16 GiB, 16777216 blocos de 1K, mas apenas 15396784 blocos estão na saída df. 91,7%, o que é isso?

Agora segue a investigação (spoiler: sem resultados)

1. O sistema de arquivos pode começar não no início do dispositivo. Isso é estranho, mas é possível. Felizmente, o ext4 tem bytes mágicos, vamos verificar a presença deles.

   sudo hexdump -C / dev / purgatory / test1 | grep "53 ef"

Isso mostra o superbloco:

00000430  a9 10 e7 54 01 00 ff ff  53 ef 01 00 01 00 00 00  |...T....S.......|

Hex 430 = Dez 1072, então em algum lugar após o primeiro kilobyte. Parece razoável, ext4 ignora primeiros 1024 bytes para esquisitices como VBR, etc.

2. Isto é jornal!

Não, não é. Journal tira espaço de Available if df output.

3. Ah, nós temos dump2fs e podemos verificar os tamanhos lá!

... muitos greps ...

sudo dumpe2fs /dev/purgatory/test1 | grep "Free blocks"

Ai.

Free blocks:              93504
  Free blocks: 3510-8192
  Free blocks: 8451-16384
  Free blocks: 16385-24576
  Free blocks: 24835-32768
  Free blocks: 32769-40960
  Free blocks: 41219-49152
  Free blocks: 53249-57344
  Free blocks: 57603-65536
  Free blocks: 65537-73728
  Free blocks: 73987-81920
  Free blocks: 81921-90112
  Free blocks: 90113-98304
  Free blocks: 98305-102399

E nós temos outro número. 93504 blocos livres.

A questão é: o que está acontecendo?

• Dispositivo de bloqueio: 102400k (lvs diz)
• Tamanho do sistema de arquivos: 95054k (df diz)
• Blocos gratuitos: 93504k (dumpe2fs diz)
• Tamanho disponível: 91456k (df diz)

Answer 1

Tente isto: mkfs.ext4 -N 104 -m0 -O ^has_journal,^resize_inode /dev/purgatory/test1

Eu acho que isso permite que você entenda "o que está acontecendo".

-N 104 (defina o número de iNodes que seu sistema de arquivos deve ter)

• todo iNode "custa" espaço utilizável (128 Byte)

-m 0 (sem blocos reservados)
-O ^has_journal,^resize_inode (desative os recursos has_journal e resize_inode

• resize_inode "costs" espaço livre (a maioria dos 1550 1K-Blocks / 2% que você vê no seu df - 12K é usada para a pasta "lost + found")
• has_journal "costs" utilizável space (4096 1K-Blocks no seu caso)

Recebemos 102348 de 102400 , outros 52 blocos inutilizáveis (se tivermos excluído a pasta "lost + found"). Portanto, nós mergulhamos em dumpe2fs :

Group 0: (Blocks 1-8192) [ITABLE_ZEROED]
  Checksum 0x5ee2, unused inodes 65533
  Primary superblock at 1, Group descriptors at 2-2
  Block bitmap at 3 (+2), Inode bitmap at 19 (+18)
  Inode table at 35-35 (+34)
  8150 free blocks, 0 free inodes, 1 directories, 65533 unused inodes
  Free blocks: 17-18, 32-34, 48-8192
  Free inodes: 
Group 1: (Blocks 8193-16384) [BLOCK_UNINIT, ITABLE_ZEROED]
  Checksum 0x56cf, unused inodes 5
  Backup superblock at 8193, Group descriptors at 8194-8194
  Block bitmap at 4 ([phone]), Inode bitmap at 20 ([phone])
  Inode table at 36-36 ([phone])
  8190 free blocks, 6 free inodes, 0 directories, 5 unused inodes
  Free blocks: 8193-16384
  Free inodes: 11-16
Group 2: (Blocks 16385-24576) [INODE_UNINIT, BLOCK_UNINIT, ITABLE_ZEROED]
  Checksum 0x51eb, unused inodes 8
  Block bitmap at 5 ([phone]), Inode bitmap at 21 ([phone])
  Inode table at 37-37 ([phone])
  8192 free blocks, 8 free inodes, 0 directories, 8 unused inodes
  Free blocks: 16385-24576
  Free inodes: 17-24
Group 3: (Blocks 24577-32768) [INODE_UNINIT, BLOCK_UNINIT, ITABLE_ZEROED]
  Checksum 0x3de1, unused inodes 8
  Backup superblock at 24577, Group descriptors at 24578-24578
  Block bitmap at 6 ([phone]), Inode bitmap at 22 ([phone])
  Inode table at 38-38 ([phone])
  8190 free blocks, 8 free inodes, 0 directories, 8 unused inodes
  Free blocks: 24577-32768
  Free inodes: 25-32
Group 4: (Blocks 32769-40960) [INODE_UNINIT, BLOCK_UNINIT, ITABLE_ZEROED]
  Checksum 0x79b9, unused inodes 8
  Block bitmap at 7 ([phone]), Inode bitmap at 23 ([phone])
  Inode table at 39-39 ([phone])
  8192 free blocks, 8 free inodes, 0 directories, 8 unused inodes
  Free blocks: 32769-40960
  Free inodes: 33-40
Group 5: (Blocks 40961-49152) [INODE_UNINIT, BLOCK_UNINIT, ITABLE_ZEROED]
  Checksum 0x0059, unused inodes 8
  Backup superblock at 40961, Group descriptors at 40962-40962
  Block bitmap at 8 ([phone]), Inode bitmap at 24 ([phone])
  Inode table at 40-40 ([phone])
  8190 free blocks, 8 free inodes, 0 directories, 8 unused inodes
  Free blocks: 40961-49152
  Free inodes: 41-48
Group 6: (Blocks 49153-57344) [INODE_UNINIT, BLOCK_UNINIT, ITABLE_ZEROED]
  Checksum 0x3000, unused inodes 8
  Block bitmap at 9 ([phone]), Inode bitmap at 25 ([phone])
  Inode table at 41-41 ([phone])
  8192 free blocks, 8 free inodes, 0 directories, 8 unused inodes
  Free blocks: 49153-57344
  Free inodes: 49-56
Group 7: (Blocks 57345-65536) [INODE_UNINIT, BLOCK_UNINIT, ITABLE_ZEROED]
  Checksum 0x5c0a, unused inodes 8
  Backup superblock at 57345, Group descriptors at 57346-57346
  Block bitmap at 10 ([phone]), Inode bitmap at 26 ([phone])
  Inode table at 42-42 ([phone])
  8190 free blocks, 8 free inodes, 0 directories, 8 unused inodes
  Free blocks: 57345-65536
  Free inodes: 57-64
Group 8: (Blocks 65537-73728) [INODE_UNINIT, BLOCK_UNINIT, ITABLE_ZEROED]
  Checksum 0xf050, unused inodes 8
  Block bitmap at 11 ([phone]), Inode bitmap at 27 ([phone])
  Inode table at 43-43 ([phone])
  8192 free blocks, 8 free inodes, 0 directories, 8 unused inodes
  Free blocks: 65537-73728
  Free inodes: 65-72
Group 9: (Blocks 73729-81920) [INODE_UNINIT, BLOCK_UNINIT, ITABLE_ZEROED]
  Checksum 0x50fd, unused inodes 8
  Backup superblock at 73729, Group descriptors at 73730-73730
  Block bitmap at 12 ([phone]), Inode bitmap at 28 ([phone])
  Inode table at 44-44 ([phone])
  8190 free blocks, 8 free inodes, 0 directories, 8 unused inodes
  Free blocks: 73729-81920
  Free inodes: 73-80
Group 10: (Blocks 81921-90112) [INODE_UNINIT, BLOCK_UNINIT, ITABLE_ZEROED]
  Checksum 0x60a4, unused inodes 8
  Block bitmap at 13 ([phone]), Inode bitmap at 29 ([phone])
  Inode table at 45-45 ([phone])
  8192 free blocks, 8 free inodes, 0 directories, 8 unused inodes
  Free blocks: 81921-90112
  Free inodes: 81-88
Group 11: (Blocks 90113-98304) [INODE_UNINIT, BLOCK_UNINIT, ITABLE_ZEROED]
  Checksum 0x28de, unused inodes 8
  Block bitmap at 14 ([phone]), Inode bitmap at 30 ([phone])
  Inode table at 46-46 ([phone])
  8192 free blocks, 8 free inodes, 0 directories, 8 unused inodes
  Free blocks: 90113-98304
  Free inodes: 89-96
Group 12: (Blocks 98305-102399) [INODE_UNINIT, ITABLE_ZEROED]
  Checksum 0x9223, unused inodes 8
  Block bitmap at 15 ([phone]), Inode bitmap at 31 ([phone])
  Inode table at 47-47 ([phone])
  4095 free blocks, 8 free inodes, 0 directories, 8 unused inodes
  Free blocks: 98305-102399
  Free inodes: 97-104

e conte os blocos usados (para o superbloco Backup, descritores de grupo, bitmap de blocos, bitmap Inode e tabela Inode) ou nós grep e count:

LANG=C dumpe2fs /dev/mapper/vg_vms-test1 | grep ' at ' | grep -v ',' | wc -l

que nos dá a contagem de linhas que têm um único bloco (no nosso exemplo) e

LANG=C dumpe2fs /dev/mapper/vg_vms-test1 | grep ' at ' | grep ',' | wc -l

que nos dá a contagem de linhas que têm dois blocos (no nosso exemplo).

Portanto, temos (no nosso exemplo) 13 linhas com um bloco cada e 19 linhas com dois blocos cada.

13+19*2

que nos dá 51 blocos que estão em uso pelo próprio ext4. Finalmente, há apenas um bloco à esquerda. O bloco 0, que são os bytes 1024 omitidos no início para coisas como o setor de inicialização.

    

Answer 2

A resposta curta:

Nem todo espaço no dispositivo de bloco se torna espaço disponível para seus dados: parte do espaço bruto é necessário para internos do sistema de arquivos, para a contabilidade nos bastidores.

Essa contabilidade inclui o superbloco, descritores de grupo de blocos, bitmaps de bloco e inode e a tabela de inode. Além disso, cópias do super bloco para fins de backup / recuperação são criadas em vários locais. Uma longa leitura sobre o funcionamento do sistema de arquivos EXT4 pode ser encontrada em ext4.wiki.kernel.org .

Como o EXT4 é um sistema de arquivos com registro em diário que também ocupa algum espaço.

Além disso, algum espaço é reservado para futuras expansões do sistema de arquivos.

A resposta longa:

Eu recriei seu cenário em um dos meus sistemas de teste:

lvcreate -L 100M -n test MyVG
mkfs.ext4 -b 1024 /dev/MyVG/test 

Então, antes mesmo de montar o sistema de arquivos, um dumpe2fs mostra:

Filesystem state:         clean
Errors behavior:          Continue
Filesystem OS type:       Linux
Inode count:              25688
Block count:              102400
Reserved block count:     5120
Free blocks:              93504
Free inodes:              25677
First block:              1
Block size:               1024
Fragment size:            1024
Reserved GDT blocks:      256
Blocks per group:         8192
Fragments per group:      8192
Inodes per group:         1976
Inode blocks per group:   247
Flex block group size:    16
Filesystem created:       Fri Feb 20 13:20:54 2015
Last mount time:          n/a
Last write time:          Fri Feb 20 13:20:55 2015
...
Journal size:             4096k  
...

e depois da montagem:

df /tmp/test/
Filesystem              1K-blocks  Used Available Use% Mounted on
/dev/mapper/MyVG-test       99150  5646     88384   7% /tmp/test

Então, o que df nos mostra? Dos 102400 blocos da capacidade do dispositivo de armazenamento bruto 99150 blocos 1K são visíveis para o sistema de arquivos, o que significa que 3250 blocos de 1 Kilobyte de espaço de armazenamento bruto se tornaram inutilizáveis para armazenamento de dados real.

Para onde foram esses blocos? Rolando para baixo na saída dumpe2fs mostra exatamente onde:

Group 0: (Blocks 1-8192) [ITABLE_ZEROED]
  Checksum 0x0d67, unused inodes 1965
  Primary superblock at 1, Group descriptors at 2-2
  Reserved GDT blocks at 3-258
  Block bitmap at 259 (+258), Inode bitmap at 275 (+274)
  Inode table at 291-537 (+290)
  4683 free blocks, 1965 free inodes, 2 directories, 1965 unused inodes
  Free blocks: 3510-8192
  Free inodes: 12-1976

1 block (bloco # 0) Os primeiros 1024 bytes são ignorados para permitir a instalação de setores de inicialização x86 e outras esquisitices.
1 block é ocupado pelo supertela Primário.
1 block contém os descritores de grupo.
256 blocks são reservados para a Tabela do Descritor de Grupo para permitir o redimensionamento futuro do sistema de arquivo. 16 blocks são atribuídos para o bitmap de bloco.
16 blocks são atribuídos para o bitmap de inode.
246 blocks são designados para a tabela de inode.

Isso já representa 537 dos 3250 blocos que faltam. Um sistema de arquivos ext4 é dividido em uma série de grupos de blocos e a rolagem para baixo mostra ainda uma alocação similar da capacidade de armazenamento bruto para os internos do sistema de arquivos nos outros grupos de blocos:

Group 1: (Blocks 8193-16384) [INODE_UNINIT, ITABLE_ZEROED]
  Checksum 0x0618, unused inodes 1976
  Backup superblock at 8193, Group descriptors at 8194-8194
  Reserved GDT blocks at 8195-8450
  Block bitmap at 260 ([phone]), Inode bitmap at 276 ([phone])
  Inode table at 538-784 ([phone])
  7934 free blocks, 1976 free inodes, 0 directories, 1976 unused inodes
  Free blocks: 8451-16384
  Free inodes: 1977-3952
Group 2: (Blocks 16385-24576) [INODE_UNINIT, BLOCK_UNINIT, ITABLE_ZEROED]
  Checksum 0xcfd3, unused inodes 1976
  Block bitmap at 261 ([phone]), Inode bitmap at 277 ([phone])
  Inode table at 785-1031 ([phone])
  8192 free blocks, 1976 free inodes, 0 directories, 1976 unused inodes
  Free blocks: 16385-24576
  Free inodes: 3953-5928 
Group ....

Agora, voltemos ao df output:

df /tmp/test/
Filesystem              1K-blocks  Used Available Use% Mounted on
/dev/mapper/MyVG-test       99150  5646     88384   7% /tmp/test

A razão de que naquele novo sistema de arquivos já 7% da capacidade está marcada como em uso é:

99150 (o tamanho do sistema de arquivos) MENOS 5120 (a contagem de blocos reservada) MINUS 5646 (blocos usados, 4096 dos quais são do Diário (novamente parte da saída do dumpe2fs))
 = 88384

A contagem de blocos livres em dumpe2fs é o tamanho disponível do sistema de arquivos menos o uso real (e não leva em consideração os blocos reservados) então 99150-5646 = 93504.

    

Answer 3

Não é uma resposta para a pergunta, mas fiquei curioso, então imagino que outras pessoas o façam. Como eu já tinha um liveCD inicializado e tinha um disco rígido com o qual podia mexer sem me preocupar com erros de digitação, fui em frente e testei.

Eu fiz partições com todas as FSs para as quais o Ubuntu 14.10 envia um mkfs, em partições de 100 MiB. (exceto minix, que suporta apenas 64 MiB, e bfs, que é uma coisa do SCO que eu nunca ouvi falar.)

Primeiro, olhei para df -k espaço disponível (com as configurações mkfs padrão) e, em seguida, eu dd ed /dev/zero para um arquivo em cada FS para garantir que eles pudessem ser preenchidos completamente. (por exemplo, verifique se o available space reivindicado estava realmente disponível.)
for i in /media/ubuntu/small-*;do sudo dd if=/dev/zero of="$i/fill" bs=16k;done

* FS: empty 'df -k' : non-zero 'df -k' when full (false bottom)
* jfs:  101020k
* fat32:100808k  : 4
* ntfs:  99896k
* btrfs: 98276k  : 4428
* ext2:  92480k
* xfs:   90652k  : 20
* ext4:  86336k
* ext3:  88367k
* reiserfs(v3): 69552k

Por que o btrfs tem muito espaço inutilizável? Talvez para metadados? bem não:

$ for i in /media/ubuntu/small-*;do sudo touch "$i/touched";done
touch: cannot touch ‘/media/ubuntu/small-btrfs/touched’: No space left on device
touch: cannot touch ‘/media/ubuntu/small-reiser/touched’: No space left on device

Ambos os sistemas de arquivos baseados em árvore não podem empacotar um arquivo vazio em qualquer lugar, mas todos os outros podem.

Ou olhe o tamanho de um arquivo que você pode criar:

$ ls -SdlG --block-size=1k /media/ubuntu/small-*/*
-rw-r--r-- 1 root   101020 Feb 21 11:55 /media/ubuntu/small-jfs/fill
-rw-r--r-- 1 ubuntu 100804 Feb 21 11:55 /media/ubuntu/small-fat/fill
-rw------- 1 ubuntu  99848 Feb 21 11:55 /media/ubuntu/small-ntfs/fill
-rw-r--r-- 1 root    97216 Feb 21 11:55 /media/ubuntu/small-ext2/fill
-rw-r--r-- 1 root    93705 Feb 21 11:27 /media/ubuntu/small-btrfs/foo
-rw-r--r-- 1 root    93120 Feb 21 11:55 /media/ubuntu/small-ext3/fill
-rw-r--r-- 1 root    91440 Feb 21 11:55 /media/ubuntu/small-ext/fill
-rw-r--r-- 1 root    90632 Feb 21 11:55 /media/ubuntu/small-xfs/fill
-rw-r--r-- 1 root    69480 Feb 21 11:55 /media/ubuntu/small-reiser/fill
drwx------ 2 root       12 Feb 21 11:33 /media/ubuntu/small-ext2/lost+found
drwx------ 2 root       12 Feb 21 11:43 /media/ubuntu/small-ext3/lost+found
drwx------ 2 root       12 Feb 21 11:29 /media/ubuntu/small-ext/lost+found

(Eu chamei minha partição ext4 de "small-ext" porque eu não estava planejando enlouquecer e fazer todos os sistemas de arquivos. então ext = ext4 aqui. NÃO é o ext ext extor original)

E df -k output depois de removê-los novamente:

/dev/sdd6          95980    5328     90652   6% /media/ubuntu/small-xfs
/dev/sdd7          95054    1550     86336   2% /media/ubuntu/small-ext
/dev/sdd5         102400   93880    101020  96% /media/ubuntu/small-btrfs
/dev/sdd8         101168  101168         0 100% /media/ubuntu/small-jfs
/dev/sdd9          99150    1550     92480   2% /media/ubuntu/small-ext2
/dev/sdd10        102392   32840     69552  33% /media/ubuntu/small-reiser
/dev/sdd11        100808       1    100808   1% /media/ubuntu/small-fat
/dev/sdd12        102396    2548     99848   3% /media/ubuntu/small-ntfs
/dev/sdd13         95054    1567     88367   2% /media/ubuntu/small-ext3

(jfs voltou para 1% usado depois que eu removi "touch" também. Ou houve um atraso de tempo, ou levou outra gravação para obter o tamanho disponível para atualizar.)

De qualquer forma, acho que é para minha curiosidade.