Autopilot (ceph / ceph) como o espaço é alocado?

Question

Eu tenho 5 máquinas implantadas, servidor maas, servidor de paisagem e node01,02,03.

Cada Nó é idêntico, 8 núcleos, 32 gb de ram, 3 HDs por 1 gb por máquina (unidades de 146, 300, 600 gb e 15k). o maas e a paisagem possuem drives de 72gb.

O Landscape está relatando 3 tb para todos os nós, a região reporta 2 tb em ceph. Os padrões dentro do Horizon mostram 1000gb para volumes e snapshots e 1000gb para backup.

Ele mostra 2 tb porque depois que os dados são distribuídos e replicados, ele passa de 3 tb para 2 tb equivalente a raid5?

O 2tb então divide 50/50 com os padrões do sistema entre volumes e backups?

Lista de hardware da região de paisagem

Visão geral do hardware da região de paisagem

    

Answer 1

Eu imaginei que responderia a isso com mais conhecimento no CEPH do que quando fiz a pergunta. Embora eu não possa dizer por que os padrões são os padrões no Horizon. Se eles são gerados ou apenas um ponto de partida para o openstack.

O uso da unidade de paisagem é obtido do ceph, que já inclui replicação.

    cluster eabab000-231c-4edb-855c-dd30b1bab56d
     health HEALTH_OK
     monmap e2: 3 mons at {juju-machine-0-lxc-4=10.14.0.53:6789/0,juju-machine-1-lxc-0=10.14.0.62:6789/0,juju-machine-2-lxc-4=10.14.0.60:6789/0}
            election epoch 12, quorum 0,1,2 juju-machine-0-lxc-4,juju-machine-2-lxc-4,juju-machine-1-lxc-0
     osdmap e358: 13 osds: 13 up, 13 in
      pgmap v324244: 1091 pgs, 14 pools, **132 GB data**, 35396 objects
            **378 GB used**, 3636 GB / **4014 GB avail**
                1091 active+clean
  client io 1740 B/s wr, 0 op/s

Como você pode ver, há um total de 132 GB de dados espalhados pelos 14 pools. No meu caso, o cinder contém 99% dos dados de uso.

ubuntu@juju-machine-0-lxc-4:~$ sudo ceph df
GLOBAL:
    SIZE      AVAIL     RAW USED     %RAW USED 
    4014G     3636G         378G          9.42 
POOLS:
    NAME                                         ID     USED     %USED     MAX AVAIL     OBJECTS 
    rbd                                          0         0         0         1126G           0 
    .rgw.buckets                                 1      1894         0         1126G           2 
    .rgw.root                                    2       848         0         1126G           3 
    .rgw.control                                 3         0         0         1126G           8 
    .rgw.gc                                      4         0         0         1126G          32 
    .rgw.buckets.index                           5         0         0         1126G           1 
    .rgw.buckets.extra                           6         0         0         1126G           0 
    .log                                         7         0         0         1126G           0 
    .intent-log.usage                            8         0         0         1126G           0 
    .users.users.email.users.swift.users.uid     9         0         0         1126G           0 
    glance                                       10     500M      0.01         1126G          68 
    .rgw                                         11      404         0         1126G           2 
    .users.uid                                   12      417         0         1126G           3 
    cinder                                       13     132G      3.30         1126G       35277 

132 GB são dados reais, mas há 378 GB usados. Isso é por causa do nível de replicação.

ubuntu@juju-machine-0-lxc-4:~$ sudo ceph osd dump | grep -i cinder
pool 13 'cinder' **replicated size 3** min_size 2 crush_ruleset 0 object_hash rjenkins pg_num 166 pgp_num 166 last_change 358 flags hashpspool stripe_width 0

Nosso espaço total é calculado simplesmente a partir do nível USED x Replication. Então, o Horizon está exibindo o espaço correto, 378 GB / 4 TB disponível. Cada arquivo de 100 GB conta com 300 GB de espaço.