Não há mais espaço no FreeNAS 9.3. Mas apenas metade do espaço realmente em uso com base no comando "du -sh"

Question

Não há mais espaço no FreeNAS 9.3. Mas apenas metade do espaço realmente em uso com base no comando "du -sh"

#1 resposta do (1 votos)

4

Esta manhã recebi um aviso na minha máquina FreeNAS 9.3 sobre "Não há espaço suficiente"

warning: The capacity for the volume 'SeanVolume' is currently at 85%, while the recommended value is below 80%.

Não adianta executar o comando scrub após um período de tempo.

Eu usei o SSH para fazer login no host do FreeNAS e obtive algumas informações:

[root@freenas] ~# zpool list
NAME           SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
SeanVolume    21.8T  18.6T  3.16T         -    38%    85%  1.00x  ONLINE  /mnt
freenas-boot   111G   680M   110G         -      -     0%  1.00x  ONLINE  -

Ele mostra o espaço de ALLOC apenas na capacidade de 18,6T, mas ainda tinha o comando de 6,7T por du -sh :

[root@freenas] ~# du -sh /mnt/SeanVolume/
6.7T    /mnt/SeanVolume/

Informações adicionais:

[root@freenas] ~# zpool status
  pool: SeanVolume
 state: ONLINE
  scan: scrub repaired 0 in 20h32m with 0 errors on Thu Jul 16 07:48:34 2015
config:

        NAME                                            STATE     READ WRITE CKSUM
        SeanVolume                                      ONLINE       0     0     0
          raidz3-0                                      ONLINE       0     0     0
            gptid/f4986ea8-f822-11e4-a7d4-d05099265144  ONLINE       0     0     0
            gptid/f51a05f7-f822-11e4-a7d4-d05099265144  ONLINE       0     0     0
            gptid/f595d78e-f822-11e4-a7d4-d05099265144  ONLINE       0     0     0
            gptid/f62490d4-f822-11e4-a7d4-d05099265144  ONLINE       0     0     0
            gptid/f6a8e41e-f822-11e4-a7d4-d05099265144  ONLINE       0     0     0
            gptid/f7266471-f822-11e4-a7d4-d05099265144  ONLINE       0     0     0
            gptid/f7f3bf28-f822-11e4-a7d4-d05099265144  ONLINE       0     0     0
            gptid/f8b8fa7b-f822-11e4-a7d4-d05099265144  ONLINE       0     0     0
        cache
          gptid/f901ec00-f822-11e4-a7d4-d05099265144    ONLINE       0     0     0
          gptid/dfa53351-1baa-11e5-ba0e-d05099265144    ONLINE       0     0     0

errors: No known data errors

Resultado do comando df -TH :

[root@freenas] ~# df -TH
Filesystem                                                  Type      Size    Used   Avail Capacity  Mounted on
freenas-boot/ROOT/default                                   zfs       115G    698M    114G     1%    /
devfs                                                       devfs     1.0k    1.0k      0B   100%    /dev
tmpfs                                                       tmpfs      33M    5.5M     28M    16%    /etc
tmpfs                                                       tmpfs     4.2M    8.2k    4.2M     0%    /mnt
tmpfs                                                       tmpfs      11G     67M     11G     1%    /var
freenas-boot/grub                                           zfs       114G    8.1M    114G     0%    /boot/grub
SeanVolume                                                  zfs       1.6T    822k    1.6T     0%    /mnt/SeanVolume
SeanVolume/CandyDataset                                     zfs       1.6T    299k    1.6T     0%    /mnt/SeanVolume/CandyDataset
SeanVolume/CandyDataset/Applications                        zfs       1.6T    224k    1.6T     0%    /mnt/SeanVolume/CandyDataset/Applications
SeanVolume/CandyDataset/Documents                           zfs       1.6T    224k    1.6T     0%    /mnt/SeanVolume/CandyDataset/Documents
SeanVolume/CandyDataset/Downloads                           zfs       2.9T    1.3T    1.6T    46%    /mnt/SeanVolume/CandyDataset/Downloads
SeanVolume/CandyDataset/Music                               zfs       1.6T    224k    1.6T     0%    /mnt/SeanVolume/CandyDataset/Music
SeanVolume/CandyDataset/Pictures                            zfs       1.6T    224k    1.6T     0%    /mnt/SeanVolume/CandyDataset/Pictures
SeanVolume/CandyDataset/Temporary                           zfs       1.6T    224k    1.6T     0%    /mnt/SeanVolume/CandyDataset/Temporary
SeanVolume/CandyDataset/Videos                              zfs       1.8T    221G    1.6T    12%    /mnt/SeanVolume/CandyDataset/Videos
SeanVolume/PublicDataset                                    zfs       1.6T    243k    1.6T     0%    /mnt/SeanVolume/PublicDataset
SeanVolume/PublicDataset/Applications                       zfs       1.6T    224k    1.6T     0%    /mnt/SeanVolume/PublicDataset/Applications
SeanVolume/PublicDataset/Documents                          zfs       1.6T    224k    1.6T     0%    /mnt/SeanVolume/PublicDataset/Documents
SeanVolume/PublicDataset/Downloads                          zfs       1.6T    224k    1.6T     0%    /mnt/SeanVolume/PublicDataset/Downloads
SeanVolume/PublicDataset/Music                              zfs       1.6T    224k    1.6T     0%    /mnt/SeanVolume/PublicDataset/Music
SeanVolume/PublicDataset/Pictures                           zfs       1.6T    224k    1.6T     0%    /mnt/SeanVolume/PublicDataset/Pictures
SeanVolume/PublicDataset/Temporary                          zfs       1.6T    224k    1.6T     0%    /mnt/SeanVolume/PublicDataset/Temporary
SeanVolume/PublicDataset/Videos                             zfs       1.6T    224k    1.6T     0%    /mnt/SeanVolume/PublicDataset/Videos
SeanVolume/SeanDataset                                      zfs       3.9T    2.3T    1.6T    60%    /mnt/SeanVolume/SeanDataset
SeanVolume/SeanDataset/AppData                              zfs       1.6T    224k    1.6T     0%    /mnt/SeanVolume/SeanDataset/AppData
SeanVolume/SeanDataset/Applications                         zfs       1.6T    261k    1.6T     0%    /mnt/SeanVolume/SeanDataset/Applications
SeanVolume/SeanDataset/Documents                            zfs       3.0T    1.5T    1.6T    48%    /mnt/SeanVolume/SeanDataset/Documents
SeanVolume/SeanDataset/Downloads                            zfs       2.2T    647G    1.6T    29%    /mnt/SeanVolume/SeanDataset/Downloads
SeanVolume/SeanDataset/Music                                zfs       1.6T    411k    1.6T     0%    /mnt/SeanVolume/SeanDataset/Music
SeanVolume/SeanDataset/Pictures                             zfs       1.6T    2.2M    1.6T     0%    /mnt/SeanVolume/SeanDataset/Pictures
SeanVolume/SeanDataset/Saved Games                          zfs       1.6T    243k    1.6T     0%    /mnt/SeanVolume/SeanDataset/Saved Games
SeanVolume/SeanDataset/Temporary                            zfs       1.6T    533k    1.6T     0%    /mnt/SeanVolume/SeanDataset/Temporary
SeanVolume/SeanDataset/Videos                               zfs       2.4T    850G    1.6T    35%    /mnt/SeanVolume/SeanDataset/Videos
SeanVolume/jails                                            zfs       1.6T    710M    1.6T     0%    /mnt/SeanVolume/jails
SeanVolume/jails/.warden-template-pluginjail                zfs       1.6T    619M    1.6T     0%    /mnt/SeanVolume/jails/.warden-template-pluginjail
SeanVolume/jails/.warden-template-pluginjail-9.3            zfs       1.6T    619M    1.6T     0%    /mnt/SeanVolume/jails/.warden-template-pluginjail-9.3
SeanVolume/jails/pluginjail                                 zfs       1.6T    660M    1.6T     0%    /mnt/SeanVolume/jails/pluginjail
SeanVolume/ownCloudDataset                                  zfs       1.8T    259G    1.6T    14%    /mnt/SeanVolume/ownCloudDataset
SeanVolume/.system                                          zfs       1.6T    3.4M    1.6T     0%    /var/db/system
SeanVolume/.system/cores                                    zfs       1.6T    1.4M    1.6T     0%    /var/db/system/cores
SeanVolume/.system/samba4                                   zfs       1.6T      6M    1.6T     0%    /var/db/system/samba4
SeanVolume/.system/syslog-cd1fc29ce94d4a81a24df77359252261  zfs       1.6T      6M    1.6T     0%    /var/db/system/syslog-cd1fc29ce94d4a81a24df77359252261
SeanVolume/.system/rrd-cd1fc29ce94d4a81a24df77359252261     zfs       1.6T    224k    1.6T     0%    /var/db/system/rrd-cd1fc29ce94d4a81a24df77359252261
devfs                                                       devfs     1.0k    1.0k      0B   100%    /mnt/SeanVolume/jails/pluginjail/dev
procfs                                                      procfs    4.1k    4.1k      0B   100%    /mnt/SeanVolume/jails/pluginjail/proc
SeanVolume/jails/customplugin_2                             zfs       1.6T    1.4G    1.6T     0%    /mnt/SeanVolume/jails/customplugin_2
SeanVolume/SeanDataset/ISOImage                             zfs       1.6T    318k    1.6T     0%    /mnt/SeanVolume/SeanDataset/ISOImage
devfs                                                       devfs     1.0k    1.0k      0B   100%    /mnt/SeanVolume/jails/customplugin_2/dev
procfs                                                      procfs    4.1k    4.1k      0B   100%    /mnt/SeanVolume/jails/customplugin_2/proc
/mnt/SeanVolume/ownCloudDataset                             nullfs    1.8T    259G    1.6T    14%    /mnt/SeanVolume/jails/customplugin_2/media

Executando o status de limpeza (Web GUI):

Scrub status: Completed
Errors: 0     Repaired: 0     Date: Thu Jul 16 07:48:34 2015

O que posso fazer para tentar corrigir isso (exceto a reinicialização, porque ele está executando o plug-in ownCloud on-line)?

PS: 2015/07/17 Adicionado:

[root@freenas] ~# zfs list
NAME                                                         USED  AVAIL  REFER  MOUNTPOINT
SeanVolume                                                  10.7T  1.34T   803K  /mnt/SeanVolume
SeanVolume/.system                                           304M  1.34T  3.21M  legacy
SeanVolume/.system/cores                                    5.53M  1.34T  1.32M  legacy
SeanVolume/.system/rrd-cd1fc29ce94d4a81a24df77359252261      219K  1.34T   219K  legacy
SeanVolume/.system/samba4                                    218M  1.34T  5.59M  legacy
SeanVolume/.system/syslog-cd1fc29ce94d4a81a24df77359252261  61.4M  1.34T  5.62M  legacy
SeanVolume/CandyDataset                                     1.42T  1.34T   292K  /mnt/SeanVolume/CandyDataset
SeanVolume/CandyDataset/Applications                         365K  1.34T   219K  /mnt/SeanVolume/CandyDataset/Applications
SeanVolume/CandyDataset/Documents                            365K  1.34T   219K  /mnt/SeanVolume/CandyDataset/Documents
SeanVolume/CandyDataset/Downloads                           1.22T  1.34T  1.22T  /mnt/SeanVolume/CandyDataset/Downloads
SeanVolume/CandyDataset/Music                                365K  1.34T   219K  /mnt/SeanVolume/CandyDataset/Music
SeanVolume/CandyDataset/Pictures                             365K  1.34T   219K  /mnt/SeanVolume/CandyDataset/Pictures
SeanVolume/CandyDataset/Temporary                            365K  1.34T   219K  /mnt/SeanVolume/CandyDataset/Temporary
SeanVolume/CandyDataset/Videos                               206G  1.34T   206G  /mnt/SeanVolume/CandyDataset/Videos
SeanVolume/PublicDataset                                    3.03M  1.34T   237K  /mnt/SeanVolume/PublicDataset
SeanVolume/PublicDataset/Applications                        365K  1.34T   219K  /mnt/SeanVolume/PublicDataset/Applications
SeanVolume/PublicDataset/Documents                           365K  1.34T   219K  /mnt/SeanVolume/PublicDataset/Documents
SeanVolume/PublicDataset/Downloads                           365K  1.34T   219K  /mnt/SeanVolume/PublicDataset/Downloads
SeanVolume/PublicDataset/Music                               365K  1.34T   219K  /mnt/SeanVolume/PublicDataset/Music
SeanVolume/PublicDataset/Pictures                            365K  1.34T   219K  /mnt/SeanVolume/PublicDataset/Pictures
SeanVolume/PublicDataset/Temporary                           365K  1.34T   219K  /mnt/SeanVolume/PublicDataset/Temporary
SeanVolume/PublicDataset/Videos                              365K  1.34T   219K  /mnt/SeanVolume/PublicDataset/Videos
SeanVolume/SeanDataset                                      8.04T  1.34T  2.14T  /mnt/SeanVolume/SeanDataset
SeanVolume/SeanDataset/AppData                              2.64M  1.34T   219K  /mnt/SeanVolume/SeanDataset/AppData
SeanVolume/SeanDataset/Applications                          178G  1.34T   256K  /mnt/SeanVolume/SeanDataset/Applications
SeanVolume/SeanDataset/Documents                            2.58T  1.34T  1.33T  /mnt/SeanVolume/SeanDataset/Documents
SeanVolume/SeanDataset/Downloads                            1.07T  1.34T   661G  /mnt/SeanVolume/SeanDataset/Downloads
SeanVolume/SeanDataset/ISOImage                              103G  1.34T   310K  /mnt/SeanVolume/SeanDataset/ISOImage
SeanVolume/SeanDataset/Music                                51.7G  1.34T   402K  /mnt/SeanVolume/SeanDataset/Music
SeanVolume/SeanDataset/Pictures                              131G  1.34T  2.08M  /mnt/SeanVolume/SeanDataset/Pictures
SeanVolume/SeanDataset/Saved Games                          75.7G  1.34T   237K  /mnt/SeanVolume/SeanDataset/Saved Games
SeanVolume/SeanDataset/Temporary                            9.63G  1.34T   520K  /mnt/SeanVolume/SeanDataset/Temporary
SeanVolume/SeanDataset/Videos                                846G  1.34T   792G  /mnt/SeanVolume/SeanDataset/Videos
SeanVolume/jails                                            3.80G  1.34T   678M  /mnt/SeanVolume/jails
SeanVolume/jails/.warden-template-pluginjail                6.33M  1.34T   591M  /mnt/SeanVolume/jails/.warden-template-pluginjail
SeanVolume/jails/.warden-template-pluginjail-9.3             597M  1.34T   591M  /mnt/SeanVolume/jails/.warden-template-pluginjail-9.3
SeanVolume/jails/customplugin_2                             1.17G  1.34T  1.27G  /mnt/SeanVolume/jails/customplugin_2
SeanVolume/jails/pluginjail                                 1.28G  1.34T   630M  /mnt/SeanVolume/jails/pluginjail
SeanVolume/ownCloudDataset                                  1.21T  1.34T   255G  /mnt/SeanVolume/ownCloudDataset
freenas-boot                                                 680M   107G   144K  none
freenas-boot/ROOT                                            670M   107G   144K  none
freenas-boot/ROOT/Initial-Install                              8K   107G   659M  legacy
freenas-boot/ROOT/default                                    670M   107G   665M  legacy
freenas-boot/grub                                           7.76M   107G  7.76M  legacy

2015/07/17 Adicionado:

Depois de usar o comando zfs list -t snapshot , ele mostra muitos pequenos instantâneos (totalmente 2.534 arquivos ...).

Estou verificando e excluo esses arquivos de instantâneos.

Após a exclusão, execute df -TH novamente!

2015/07/20 Adicionar:

Eu tenho algum espaço depois de excluir muitos arquivos de instantâneos!

mas ...

A GUI da Web do FreeNAS 9.3 caiu ...

Depois Limpo um grande número de Instantâneos (aproximadamente 1500), o FreeNAS 9.3 Web GUI exibe "Ocorreu um erro". Depois de dois dias

[root@freenas] /etc/defaults# df -TH
Filesystem                                                  Type      Size    Used   Avail Capacity  Mounted on
freenas-boot/ROOT/default                                   zfs       115G    698M    114G     1%    /
devfs                                                       devfs     1.0k    1.0k      0B   100%    /dev
tmpfs                                                       tmpfs      33M    5.5M     28M    16%    /etc
tmpfs                                                       tmpfs     4.2M    8.2k    4.2M     0%    /mnt
tmpfs                                                       tmpfs      11G     67M     11G     1%    /var
freenas-boot/grub                                           zfs       114G    8.1M    114G     0%    /boot/grub
SeanVolume                                                  zfs         4T    822k      4T     0%    /mnt/SeanVolume
SeanVolume/CandyDataset                                     zfs         4T    299k      4T     0%    /mnt/SeanVolume/CandyDataset
SeanVolume/CandyDataset/Downloads                           zfs       5.3T    1.3T      4T    25%    /mnt/SeanVolume/CandyDataset/Downloads
SeanVolume/CandyDataset/Videos                              zfs       4.2T    221G      4T     5%    /mnt/SeanVolume/CandyDataset/Videos
SeanVolume/PublicDataset                                    zfs         4T    224k      4T     0%    /mnt/SeanVolume/PublicDataset
SeanVolume/SeanDataset                                      zfs       9.6T    5.6T      4T    59%    /mnt/SeanVolume/SeanDataset
SeanVolume/jails                                            zfs         4T    710M      4T     0%    /mnt/SeanVolume/jails
SeanVolume/jails/.warden-template-pluginjail                zfs         4T    619M      4T     0%    /mnt/SeanVolume/jails/.warden-template-pluginjail
SeanVolume/jails/.warden-template-pluginjail-9.3            zfs         4T    619M      4T     0%    /mnt/SeanVolume/jails/.warden-template-pluginjail-9.3
SeanVolume/jails/pluginjail                                 zfs         4T    661M      4T     0%    /mnt/SeanVolume/jails/pluginjail
SeanVolume/ownCloudDataset                                  zfs       4.3T    336G      4T     8%    /mnt/SeanVolume/ownCloudDataset
SeanVolume/.system                                          zfs         4T    3.4M      4T     0%    /var/db/system
SeanVolume/.system/cores                                    zfs         4T    1.4M      4T     0%    /var/db/system/cores
SeanVolume/.system/samba4                                   zfs         4T    6.1M      4T     0%    /var/db/system/samba4
SeanVolume/.system/syslog-cd1fc29ce94d4a81a24df77359252261  zfs         4T     11M      4T     0%    /var/db/system/syslog-cd1fc29ce94d4a81a24df77359252261
SeanVolume/.system/rrd-cd1fc29ce94d4a81a24df77359252261     zfs         4T    224k      4T     0%    /var/db/system/rrd-cd1fc29ce94d4a81a24df77359252261
devfs                                                       devfs     1.0k    1.0k      0B   100%    /mnt/SeanVolume/jails/pluginjail/dev
procfs                                                      procfs    4.1k    4.1k      0B   100%    /mnt/SeanVolume/jails/pluginjail/proc
SeanVolume/jails/customplugin_2                             zfs         4T    1.4G      4T     0%    /mnt/SeanVolume/jails/customplugin_2
devfs                                                       devfs     1.0k    1.0k      0B   100%    /mnt/SeanVolume/jails/customplugin_2/dev
procfs                                                      procfs    4.1k    4.1k      0B   100%    /mnt/SeanVolume/jails/customplugin_2/proc
/mnt/SeanVolume/ownCloudDataset                             nullfs    4.3T    336G      4T     8%    /mnt/SeanVolume/jails/customplugin_2/media

zfs du df freenas zpool

por 陳敬翔 16.07.2015 / 12:27

1 resposta

Tags zfs du df freenas zpool

O cluster do MariaDB Galera fica fora de sincronia facilmente Imagens (por exemplo, com Clonezilla) do Windows e Linux em um computador UEFI

score 1 · Answer 1

Eu tento resumir as informações dadas e dar algumas explicações (onde eu sei o que isso significa):

Sobre a saída zpool list :
TAMANHO é o tamanho de todos os discos, incluindo os discos usados para redundância (assim, junto com a saída de zpool status , significa que você montou 8 unidades de 3 TB em uma configuração RAID-Z3)
ALLOC é o espaço usado, incluindo também os discos usados para redundância (portanto, é pelo menos (5 + 3) / 5 = 1,6 vezes maior que o tamanho real dos dados, porque 3 dos 8 discos são usados para redundância) < br> Livre é o espaço livre, incluindo também os discos usados para redundância (portanto, o espaço livre utilizável é no máximo 5 / (5 + 3) = 0,625 o tamanho livre mostrado)

O comando zfs list diz que há 1,34T disponível, zpool list diz que 3,16T é grátis, menos o espaço de redundância que eu esperaria em 1.975T.
Eu sei, que zfs precisa de algum espaço para metadados, mas no meu sistema linux com 4 drives de 2TB em RAID-Z1 a diferença é de cerca de 6%, a diferença aqui é de 47%, não sei dizer de onde vem a diferença.

Sobre a saída de df -Th
O df não encontra instantâneos do zfs, portanto não pode calculá-los, portanto o espaço usado não é o espaço usado no sistema de arquivos do zfs. Para espaço alocado no sistema de arquivos zfs, use zfs list

A exclusão de instantâneos pode levar tempo, conforme você descobriu, parece ser por design, você pode dar uma olhada no link

Depois de deletar os snapshots, se eu contar sua saída do df, você terá cerca de 7,2T de dados no seu pool e cerca de 4T livres, totalizando 11,2T.
Se eu tirar o seu tamanho completo (21,8 T) menos os discos de redundância, eu esperaria cerca de 5 / (5 + 3) * 21,8 T = 13,6 T (uma diferença de cerca de 20%)

Eu acho que 20% é um pouco demais para os metadados necessários pelo zfs, mas eu não posso te dizer onde eles se perdem. Talvez você tenha muitos arquivos muito pequenos, que estão usando mais espaço de metadados do que muitos arquivos maiores. Desculpe, mas eu não sou tão profundo no interior do zfs, que eu posso te dizer, onde obter o uso do espaço de metadados.
Você pode tentar novamente uma lista zfs e comparar o espaço usado com o espaço usado que você obtém do df. Talvez dê uma dica.

Editado 21.07.2015
Sobre o tamanho: os drives 3T têm, na verdade, 2,7 TiB (porque os fabricantes de drives estão usando 1TB = 1.000.000.000.000 Bytes, onde Computers usando 1TiB = 1 * 1024 * 1024 * 1024 * 1024 = 1.099.511.627.776 Bytes.
2,7 * 8 inversores = 21,8T
Nos sistemas RAID normais, a menor unidade determina o tamanho utilizável das unidades maiores.