Acabei de criar um novo cluster com 168 osd em 28 hosts. E eu tenho o cluster de datacenter de configuração com 14/14 no mesmo datacenter. BTW: Eu tenho 2x10GiG de fibra em cada host no mesmo switch (cisco nexus5K).
Quando eu crio um pool com "tamanho padrão do pool do osd = 3", meu cluster vai para o estado degradado. Mas se usar tamanho 2 tudo bem ..
Como você pode ver abaixo, eu tenho 3 seg. 2 mon no datacenter1 e outro mon no datacenter2
cluster:
id: myid
health: HEALTH_WARN
Degraded data redundancy: 858172/1995339 objects degraded (43.009%), 2758 pgs unclean, 2758 pgs degraded, 2758 pgs undersized
application not enabled on 3 pool(s)
services:
mon: 3 daemons, quorum node1,node2,nodec1
mgr: node1(active), standbys: node2, nodec1
osd: 168 osds: 168 up, 168 in; 1594 remapped pgs
data:
pools: 3 pools, 4352 pgs
objects: 649k objects, 2598 GB
usage: 6471 GB used, 605 TB / 611 TB avail
pgs: 858172/1995339 objects degraded (43.009%)
2758 active+undersized+degraded
1570 active+clean+remapped
23 active+clean+remapped+scrubbing+deep
1 active+clean
io:
client: 434 MB/s wr, 0 op/s rd, 217 op/s wr
Para a árvore osd você deve checar o link: link
E este é o meu ceph.conf:
mon initial members = node1,node2,nodec1
mon host = 10.10.10.10,10.10.10.11,10.10.10.24
cluster = ceph
cluster network = 10.10.12.0/24
public network = 10.10.10.0/24
auth cluster required = none
auth service required = none
auth client required = none
osd pool default size = 3
osd pool default min size = 1
mon allow pool delete = true
osd pool default pg num = 333
osd pool default pgp num = 333
[client]
rbd cache = true
Basicamente, você está tentando criar uma terceira cópia de um objeto quando você tem apenas dois datacenters. Isso não funcionará.
Você deve criar algo como um terceiro datacenter (virtual) em seu mapa de esmagamento e mover alguns dos hosts para o novo datacenter.
Mais informações sobre o CRUSH podem ser obtidas aqui .
Tags ceph