Eu construí um cluster ceph experimental - 12 nós, 50 osds, 3 mons, 3 mds, para os quais eu estou tentando rodar um gateway samba. Parece que, ao escrever muitos arquivos pequenos, as chamadas do sistema fsync () do samba serão rotineiramente bloqueadas, presumivelmente na frequência do intervalo de liberação do diário. Eu sou um desenvolvedor, e não é realmente um administrador de sistemas, e gostaria de receber algumas informações sobre como minimizar o impacto de fsyncs com ceph. Eu removi as chamadas de fsync do samba por enquanto, o que ajuda muito, mas eu ainda acho que o desempenho com muitos arquivos pequenos deve ser muito melhor. A integridade da perda de energia não é uma preocupação. Além disso, com arquivos grandes, o cluster irá saturar o link 10G. Os discos do meu diário certamente não são ótimos - são discos mecânicos, cada um compartilhado entre alguns poucos. Existe uma maneira de impedir que as gravações de periódicos (?) Bloqueiem por tanto tempo no fsync? O ceph está aguardando até o próximo diário ser confirmado quando ele atingir uma chamada fsync? Eu realmente não tenho orçamento para revistas ssd, então a minimização do impacto seria a única opção. Além disso, com o cliente do kernel ceph, o desempenho é muito melhor do que passar pelo gateway do samba - portanto, isso aparentemente não está sendo limitado pela largura de banda da rede.
Os servidores usados são nós de computação antigos que foram reaproveitados:
4x Xeon 5160 com 16Gb de RAM em cada nó, com interfaces de rede ligadas em 1G e 10G Infiniband para a rede de cluster.
Cada nó OSD possui um único disco SAS 10K local para os diários e vários OSDs usando um grande compartimento Dell PERC RAID utilizado em disco único por modo OSD.
Pausar pode variar entre nada, e cerca de 5 segundos, que é o intervalo de liberação do diário, então eu acho que depende de onde o fsync () ocorre em relação ao tempo pendente para confirmar o diário.
Ainda não testei o Bluestore, mas seria a escolha padrão no futuro se / quando isso entrar em produção.
Tags ceph