Ceph está cheio mas o disco está quase vazio

1

Eu tenho um cluster ceph com 2 nós e 3 osd's cada. Cada osd está em uma partição em um disco de 8 TB. O servidor é limitado em quantidade de disco, então eu ainda tenho o sistema nos mesmos discos.

Na instalação eu usei prepare e ative na partion e tudo começou bem.

ceph-deploy osd prepare burk11:/dev/sda2 burk11:/dev/sdb2 burk11:/dev/sdd2
ceph-deploy osd activate burk12:/dev/sda2 burk12:/dev/sdb2 burk12:/dev/sdd2

Funciona bem. Mas depois de pequenos testes eu estava planejando usá-lo, comecei a copiar dados para ele e ele ficou cheio muito rapidamente e ao olhar para o tamanho é apenas 60GB e não consigo entender o porquê.

ceph df
GLOBAL:
    SIZE       AVAIL      RAW USED     %RAW USED 
    61440M     19593M       41846M         68.11 
POOLS:
    NAME                          ID     USED       %USED     MAX AVAIL     OBJECTS 
    cinder-backup                 1           0         0         1851M           0 
    cinder-volumes                2           0         0         1851M           0 
    glance-images                 3           0         0         1851M           0 
    .rgw.root                     4        1113         0         1851M           4 
    default.rgw.control           5           0         0         1851M           8 
    default.rgw.meta              6        1661         0         1851M          10 
    default.rgw.log               7           0         0         1851M         207 
    default.rgw.buckets.index     8           0         0         1851M           2 
    default.rgw.buckets.data      9      14109M     88.40         1851M       38929 

Mas o disco está quase vazio

df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sdc2       7.3T  4.0G  7.3T   1% /var/lib/ceph/osd/ceph-4
/dev/sdd2       7.3T  8.4G  7.3T   1% /var/lib/ceph/osd/ceph-5
/dev/sda2       7.3T  8.2G  7.3T   1% /var/lib/ceph/osd/ceph-3


root@burk11:~# ceph osd tree
ID CLASS WEIGHT  TYPE NAME       STATUS REWEIGHT PRI-AFF 
-1       0.05878 root default                            
-3       0.02939     host burk11                         
 0   hdd 0.00980         osd.0       up  1.00000 1.00000 
 1   hdd 0.00980         osd.1       up  0.95001 1.00000 
 2   hdd 0.00980         osd.2       up  1.00000 1.00000 
-5       0.02939     host burk12                         
 3   hdd 0.00980         osd.3       up  1.00000 1.00000 
 4   hdd 0.00980         osd.4       up  1.00000 1.00000 
 5   hdd 0.00980         osd.5       up  0.95001 1.00000 
root@burk11:~# ceph osd df tree
ID CLASS WEIGHT  REWEIGHT SIZE   USE    AVAIL  %USE  VAR  PGS TYPE NAME       
-1       0.05878        -   966G   954G 11905M 98.80 1.00   - root default    
-3       0.02939        - 30720M 21579M  9140M 70.24 0.71   -     host burk11 
 0   hdd 0.00980  1.00000 10240M  5650M  4589M 55.18 0.56 172         osd.0   
 1   hdd 0.00980  0.95001 10240M  8380M  1859M 81.84 0.83 139         osd.1   
 2   hdd 0.00980  1.00000 10240M  7548M  2691M 73.72 0.75 153         osd.2   
-5       0.02939        -   936G   933G  2764M 99.71 1.01   -     host burk12 
 3   hdd 0.00980  1.00000 10240M  9589M   650M 93.65 0.95 163         osd.3   
 4   hdd 0.00980  1.00000 10240M  9309M   930M 90.91 0.92 144         osd.4   
 5   hdd 0.00980  0.95001   916G   914G  1183M 99.87 1.01 157         osd.5   
                    TOTAL   966G   954G 11905M 98.80                          
MIN/MAX VAR: 0.56/1.01  STDDEV: 22.15

(E não, eu não uso o 914G no OSD.5 Eu tentei expandir o arquivo de bloco com o dd, eu consegui o osd maior, mas mesmo que não esteja usando mais dados eu fiquei cheio, deveria ter um uso em torno de 9-10G)

Então, como posso fazer o ceph usar a lista completa?

    
por Johan 20.02.2018 / 11:30

0 respostas