ceph uso de memória osd luminosa

Question

Eu estou tentando construir um pequeno cluster CEPH em testes de caixa única no laboratório, antes de mudar um problema maior para ele. Correr em problemas de memória e não consegue encontrar maneira de controlá-lo.

Temos o CPU Core2Duo antigo, 4 GB de RAM. Criando 3 OSDs com 3 discos locais de 8 TB.

o ceph-deploy fará isso e tudo correrá bem, expira que para cada um dos 3 OSDs 1 partição tmpfs está sendo criada, que é 2gb e depois copiando ~ 50gb de dados para o CephFS Bluestore - caixa inicia agressivamente usando RAM e acaba com o uso de todo o swap. Eu não consegui encontrar a configuração correta para controlar, o quanto o processo de OSD RAM é permitido usar.

Não há problema em usar mais E / S, em vez de RAM. Procurando ajuda (se isso for possível). :) Estou construindo tudo no Centos 7.

    

Answer 1

Este é um problema comum, a lista de discussão do ceph é um arquivo muito útil para estas questões, veja isso . Você pode reduzir os valores de bluestore_cache_size, os padrões são 3GB para um SSD e 1 GB para um HDD OSD:

# If bluestore_cache_size is zero, bluestore_cache_size_hdd or bluestore_cache_size_ssd will be used instead.

host1:~ # ceph daemon osd.3 config show | grep bluestore_cache_size
    "bluestore_cache_size": "0",
    "bluestore_cache_size_hdd": "1073741824",
    "bluestore_cache_size_ssd": "3221225472",

Mas, de acordo com nosso monitoramento em um cluster de produção, a memória residual é de cerca de 3 GB para um HDD-OSD, então você terá que ajustar esses valores às suas necessidades. A referência de configuração é aqui .

Eu recomendaria começar com um OSD primeiro e depois observar o desempenho do seu nó; em seguida, adicione outro OSD se a memória (ou outras medições) estiver ok. Se você atingir os limites com um ou dois OSDs, terá que ajustar as configurações de acordo com suas necessidades. Os valores podem ser alterados online:

host1:~ # ceph daemon osd.<ID> config set bluestore_cache_size[_hdd|_ssd] <VALUE>

Mudanças permanentes de configurações precisam ser armazenadas em /etc/ceph/ceph.conf