Acesso lento ao btrfs no LVM /

Question

Temos esta configuração no nosso servidor:

• Ubuntu 14.04 (costumava ser 12.04)
• Sistema RAID-6 de 10 TB
• LVM (um VG, dois LV)
• partição ext4 (~ 2TB)
• partição Btrfs (~ 8TB)

Após uma reinicialização no mês passado, o sistema ficou lento. Primeiro pensamos que era porque o RAID estava sendo ressincronizado (uma unidade não foi adicionada e foi reativada). Mas depois que finalmente terminado (12-13 dias), o acesso ao Btrfs ainda é notavelmente lento. o acesso ext4 parece normal.

O sysadmin que configurou isto (e quem saiu neste verão) já usava autodefrag, noatime na montagem Btrfs.

O que podemos fazer para que o Btrfs acelere novamente?

    

Answer 1

Eu não posso comentar, desculpe se isso não é bom como resposta. Você deve verificar suas unidades. Eu acho que 12 dias de tempo rsync para 10Tb é muito longo, deve ser mais como 12-24 horas. Veja as diferentes unidades com smartctl para verificar se há muitos erros:

for i in a b c d e f g h i j k l; do echo $i ; smartctl -x /dev/sd$i | grep occurred | head -1 ; done

Eu vi o RAID de trabalho ficar lento por causa disso. E o IIRC Btrfs precisa de mais acesso ao disco do que o ext4 para pesquisas de diretório, o que poderia explicar a diferença de velocidade de acesso.

    

Answer 2

Você acabou de empilhar três camadas de E / S de disco, e está se perguntando por que ele tem um desempenho ruim?

Há um velho ditado em ciência da computação, atribuído a David Wheeler :

Any problem in computer science can be solved with another layer of indirection.

Não é verdade. Há um problema que você não pode resolver: o sistema é muito lento. (Não sem adicionar mais hardware de qualquer maneira. Mais fusos neste caso, ou cluster, ou balanceamento de carga, etc.)

O Btrfs inclui a funcionalidade LVM, mas você foi e empilhou isso em cima de A camada LVM2 do Linux e coloque essa em cima de um sistema RAID-6 de hardware. O que mais você fez, hospedou máquinas virtuais nesta pilha oscilante de abstração, de modo que você pode adicionar outra camada ou duas de problemas no sistema de arquivos?

Você pediu conselhos, então aqui está o meu: tire algumas dessas camadas.

Se fosse eu, eu configuraria o subsistema de disco de hardware para JBOD e colocaria o Btrfs diretamente sobre isso.

Em termos mais gerais, você não deve esperar que o Btrfs atinja o mesmo desempenho que ext[234] . Você não está comparando maçãs com maçãs. O Btrfs compra um nível mais alto de integridade de dados, portanto, ele será executado com mais lentidão. TANSTAAFL .