Como posso melhorar a velocidade de replicação rápida do openstack?

2

Estou usando o armazenamento de objetos openstack na minha produção e enfrento um grande problema - baixa velocidade de replicação.

Eu tenho cluster com fator de replicação 3, com 3 zonas e 25 hdds por zona. Meu contêiner tem ~ 100 milhões de pequenos objetos. Eu adicionei novos hdds (10 por zona) e começo a reequilibrar meu cluster, e rapidamente me informa que o reequilíbrio estará terminando após ~ 1 ano. O Swift usa o rsync, e eu acho que se eu pudesse tentar copiar esses objetos manualmente usando o rsync - ele será mais rápido que o swift.

Existe alguma maneira de aumentar a velocidade de replicação em openstack swift? Eu tenho a sensação de que o swift faz "pena" dos meus HDDs e não usa 100% de capacidade para tornar o processo de replicação mais rápido. Eu tentei perguntar isso em Openstack Forum , mas não há respostas (.

Este é o meu /etc/swift/object-server.conf

[DEFAULT]
bind_port = 6000
user = swift
swift_dir = /etc/swift
devices = /mnt/swift
mount_check = True
log_level = ERROR
conn_timeout = 5
container_update_timeout = 5
node_timeout = 5
max_clients = 4096

[pipeline:main]
pipeline = healthcheck recon object-server

[app:object-server]
use = egg:swift#object
replication_concurrency = 1500
replication_one_per_device = False
replication_lock_timeout = 30

[filter:healthcheck]
use = egg:swift#healthcheck

[filter:recon]
use = egg:swift#recon
recon_cache_path = /var/cache/swift
recon_lock_path = /var/lock

[object-replicator]
concurrency = 1500
run_pause = 5
interval = 5
log_level = DEBUG
stats_interval = 10
rsync_io_timeout = 60

[object-reconstructor]

[object-updater]
concurrency = 200
interval = 20
slowdown = 0.008
log_level = DEBUG

[object-auditor]
interval = 300


[filter:xprofile]
use = egg:swift#xprofile

Isso é /etc/rsyncd.conf

[object]
path            = /mnt/swift
read only       = false
write only      = no
list            = yes
incoming chmod  = 0644
outgoing chmod  = 0644
max connections = 1500
lock file =     /var/lock/object.lock
    
por Kostyantyn Velychkovsky 19.01.2018 / 13:12

0 respostas