Adicionando cache SSD (PCIe) ao nó KVM Linux existente com discos SATA

Question

Atualmente, tenho grandes nós KVM utilizando entre 8 & 16 matrizes RAID10 & ataque de hardware. Normalmente provisionamos um único volume grande (as cópias de segurança da VM também são feitas fora do site).

VMs KVM usando volumes LVM

Atualmente, em nossos 16 arrays de disco, estamos obtendo entre velocidades de gravação sequenciais de 500 MB / s a 1,3G / s usando dd & 512-2048 tamanho do arquivo no nível da VM.Host nível é consistente 1,4G / s que calculando a velocidade de gravação dos discos reais parece estar maximizando os próprios discos.

As placas RAID de hardware possuem ram de 2 GB para armazenamento em cache.

///

Para esclarecer, não há problemas de desempenho em termos de E / S de disco (quase nenhuma espera com cerca de 15 a 20 VMs)

Estamos explorando o acréscimo de tentar adicionar placas SSD PCIe para armazenamento em cache, mas, idealmente, gostaríamos de poder implementá-lo em novos sistemas e também em sistemas atuais.

Poderíamos ir para o LSI & Rota de cachecade - não é nada óbvio. Nós também poderíamos fazer todos os SSD, porém, não gostaríamos de implementar além dos grandes conjuntos de dados e, idealmente, gostaríamos de usar o PCIe, já que não exigiria baias adicionais.

Algum apontador sobre como fazer isso? Parece não haver muita informação por aí e muitos sites de fornecedores são horríveis ao descrever como os produtos realmente funcionam.

    

Answer 1

Tenha também em mente as sobrecargas da CPU que seriam causadas pela solução de armazenamento em cache baseada em software. Desde que tem que manter os mapas dos blocos de dados quentes na memória. Também seria dependente do sistema host.

Pode-se tentar usar SHDDs híbridos para torná-lo independente de dispositivo / sistema.

Acho que a melhor opção seria utilizar um-dois SSDs para armazenamento em cache controlado pelo controlador RAID e separar o PCIe dedicado para dados altamente lidos aleatoriamente.

Verifique também se o noatime / nodiratime está configurado para todos os sistemas host / VM. As estruturas de diretório se beneficiam ao máximo de serem duplicadas para flash, mas o Flash odeia pequenas escritas ...