Estou construindo um sistema de e-mail e considerando alguns sistemas de arquivos que suportam redimensionamento online, seguro quando falta de energia e não restringe o número de arquivos por diretório (ou pelo menos pode armazenar alguns milhões de arquivos por diretório)
Eu quero saber qual sistema de arquivos é o melhor para essas situações. Você pode me ajudar, pls? Obrigado antecipadamente!
PS: estou colocando em camadas para meu armazenamento de e-mail como:
Camada 3: Sistema de arquivos (XFS, JFS, Btrfs, Reiser4, ...) no topo do drbd (/ dev / drbd0)
Camada 2: DRBD (modo dual-primário) no volume lógico do LVM2
Camada 1: LVM2 no volume físico (/ dev / sdc, / dev / sdd, ...)
Camada-0: volume físico (sdc, sdd, ...) é Hardware RAID10 (com "modo de cache de gravação" ativado) (cada "volume físico" é na verdade 4 HDD)
Editado: eu estou usando o Ubuntu 12.04 LTS com o kernel 3.2.
Descobri que, por usar o "modo dual-primário" do DRBD, meu sistema de arquivos só tem duas opções: GFS2 (da RedHat) e OCFS2 (da Oracle). Estou curiosamente para saber qual opção é mais estável no Ubuntu 12.04 LTS ...
Eu ouvi alguns problemas sobre o OCFS2; Não tenho certeza se o OCFS2 v1.6 poderia ser melhor?
Editado: Eu decidi ir com o GlusterFS em cima do XFS. Obrigado a todos!
O XFS tem sido uma ferramenta confiável para mim por muitos anos. O sistema de correio do qual estou falando está felizmente rodando o servidor Cyrus IMAP com 50.000+ contas (no pico eram quase 100.000 contas) e cerca de 300.000 caixas de correio. Existem dezenas de milhões de arquivos de mensagens. Tudo funciona bem e a carga do servidor está praticamente inativa.
Mas ... alguns milhões de arquivos por diretório? Que tipo de sistema de correio estamos falando? O XFS pode lidar com isso de alguma forma, mas nenhum sistema de arquivos foi projetado para esse tipo de comportamento.
Minha recomendação dessa lista seria XFS. Você não forneceu as informações de distribuição do Linux, mas assumindo o CentOS ou Red Hat, o XFS agora está um pouco integrado. É um sistema de arquivos maduro e oferece desfragmentação online e pode ser expandido (não encolhido) rapidamente. Eu raramente ouço sobre o JFS ... O Reiser é uma aposta e perdeu uma tremenda experiência ... O Btrfs não é amadurecer o suficiente para confiar nisso. Há algo de errado com o ext4?
Por favor, também referencie estes posts:
Qual é o melhor sistema de arquivos para o armazenamento de pastas do Maildir?
Se as camadas inferiores forem todas redundantes e devidamente cuidadas, as únicas considerações na escolha de um sistema de arquivos são a velocidade e a confiabilidade do sistema de arquivos abstrato (já que podemos presumir que nada quebra fisicamente com tal redundância nas camadas inferiores).
Para esses requisitos, o bom e velho ext3 ainda ganha (apenas com journaling de metadados) - XFS é indicado como não sendo bom em falhas de sistema operacional, e ext4 também não está maduro o suficiente para esses taks - tive volumes ext4 exibindo erros críticos em FS o passado, sem razão lógica para eles.
Dito isso, de onde vem a exigência de "milhões de arquivos por diretório"?
O email é armazenado como mbox ou maildir (ou, mais recentemente, dbox); nenhum deles requer milhões de arquivos por diretório - longe disso, na verdade: os maildirs possuem uma pasta de caixa de correio lógica por diretório, e eu não conheço ninguém que tenha mais de um milhar de arquivos por pasta.
mbox é um arquivo enorme por caixa de correio, período e simplesmente não é adequado para o armazenamento de e-mail de hoje.
O dbox, o novo garoto no bloco, deve superar o mbox e os maildirs na maioria dos casos, mas, novamente, não armazena "milhões de arquivos" em um único diretório.
Algumas das configurações que você lista correspondem a vários sistemas de e-mail nos quais trabalho. A única grande, exceto é que estamos lentamente retirando DRDB sempre que possível devido aos problemas que ela causa. Por 99,99% do tempo, é perfeito e o fallover funciona bem, mas nos momentos em que não causa apenas um monte de dor.
Como outros comentaram, o número de emails por diretório irá desacelerar, massivamente. Nós contornamos isso oferecendo soluções de arquivamento automático. Em um nível muito básico, é um script que se conecta ao imap e usa o imap para mover os e-mails mais antigos para uma subpasta de arquivamento dividida por datas. Para a maioria das caixas de correio, isso permite que as coisas permaneçam relativamente limpas, mas ainda organizadas.
Para a escolha do sistema de arquivos, os parâmetros de ajuste fazem uma grande diferença, dependendo do formato de caixa de correio escolhido. Com o maildir, o noatime pode fazer a diferença para alguns clientes, embora os tipos de Dovecot com o cache embutido neguem esse ganho nos dias de hoje.
Para a configuração do LVM, consulte os perigos e ressalvas do LVM , que abrangem vários pontos que você precisa acertar para que o LVM funcione bem.