Existem alguns artigos do LWN que podem ser de interesse:
recentemente temos uma falha no nosso armazenamento, precisamos fsck. O armazenamento é de cerca de 1,2 Tera e demorou mais de 5 horas.
Existe uma solução alternativa para o sistema de arquivos ext3, ou uma que é melhor que ext3? Sugestões com vantagens e desvantagens são bem-vindas.
TQVM
Existem alguns artigos do LWN que podem ser de interesse:
Eu suspeito que você verá resultados semelhantes para qualquer sistema de arquivos quando tiver que executar uma verificação completa do sistema de arquivos. Se você tem 1.000.000 inodes em uso, não importa como eles são organizados se você tiver que verificar a consistência de todos eles. De qualquer forma, você vai tocar em 1.000.000 de arquivos.
As coisas que irão acelerar significativamente isso são discos mais rápidos e mais eixos. Se você precisar de 1,2 TB, obterá um desempenho significativamente melhor de unidades SAS de 8 × 300 GB em RAID 10 do que de uma única unidade SATA de 1,2 TB, independente do sistema de arquivos. Claro, isso vai te custar mais, mas o que seu tempo de inatividade te custa? Ainda não impedirá erros no sistema de arquivos, mas reduzirá o tempo de recuperação.
Outra coisa a considerar é se os dados no volume com falha mudam muito. Se for basicamente estático e você tiver um bom backup, talvez seja mais rápido recuperar% do volume e restaurar a partir do backup. Você corre o risco de perder as alterações recentes, mas, novamente, você precisa ponderar isso com o custo do tempo de inatividade.
Você tem muitas opções aqui. Os sistemas de arquivos, apesar de terem um uso básico semelhante, comportam-se de maneira diferente, dependendo do tipo de carga de trabalho que você usa - é praticamente certo que, enquanto uma pessoa pode jurar pelos benefícios do ReiserFS, outro irá relutá-la.
Do ponto de vista da empresa, os dois sistemas de arquivos com os quais eu estou mais familiarizado são o JFS & XFS. Apesar de não ser muito usado, sou fã do JFS, já que NUNCA me decepcionou, ficou bom com alto desempenho em uma variedade de cargas de trabalho, muito estável e é relativamente tolerante a falhas de energia. O XFS lhe dará um desempenho um pouco melhor, mas ele tem riscos conhecidos significativos de perda ou corrupção de dados se a energia for interrompida - definitivamente vale a pena usar se você tiver gerenciado energia.
Área de trabalho Agora estou usando o Ext4 exclusivamente como seu MUITO mais rápido que o ext3 e está causando menos sobrecarga de i / o e uso de cpu, o que é ótimo para estender a duração da bateria do meu laptop: -)
Boas referências para mais informações: link
Edit: Como outros já mencionaram, no caso de um erro do sistema de arquivos [corrupções etc] algum tipo de reparo terá que ocorrer para corrigir o problema. Se isso é automatizado [como o ZFS] ou manual [virtualmente todo o resto], levará tempo para o sistema de arquivos voltar ao estado limpo. Na maior parte do tempo, você terá que fazer essas operações com o sistema de arquivos desmontado ou em um estado somente leitura. Quanto tempo isso vai variar, dependendo da gravidade do problema, do tamanho / estado da meta-data e da velocidade de seus discos. Um exemplo de tempo horrível que passei foi uma corrupção XFS exigindo uma reconstrução completa do sistema de arquivos de 12TB que levou cerca de 12 horas para ser concluída.
Não tenho certeza se existem alternativas realmente boas que, no caso de corrupção do sistema de arquivos, o fsck não leva muito tempo em um sistema de arquivos desse tamanho. O XFS é tipicamente meu sistema de arquivos de escolha no Linux, mas qualquer corrupção nele também requer fsck. Não tenho certeza se é muito mais rápido que o ext3.
Embora isso não ajude em sua situação atual, os dias do fsck são numerados. Os sistemas de arquivos COW mais recentes, como o ZFS no Solaris / OpenSolaris, nunca são inconsistentes e não exigem fsck. Eu estou esperando que o Btrfs seja similar nesse aspecto no Linux uma vez que a produção esteja pronta. Por enquanto, a melhor coisa a fazer é tentar limitar o tamanho dos sistemas de arquivos ... nem sempre uma opção na explosão atual de dados não estruturados.
Você sabe o que causou a corrupção do sistema de arquivos? Se foi súbita perda de poder, então a melhor coisa que você pode fazer é obter um no-break.
Se você está no Linux, eu realmente recomendo dar uma olhada no btrfs.
Imo não há sistema de arquivos adequado para armazenamento grande no Linux agora. XFS, JFS reiser e outros têm seu próprio conjunto de problemas para começar. A desfragmentação de JFSs, por exemplo, ainda não foi portada para o Linux. O XFS é apenas uma boa opção quando você pode ter certeza de que nunca haverá uma perda de energia e seu hardware é absolutamente confiável. Não estou convencido de que o último seja previsível. O Reiser não está mais em desenvolvimento ativo e tem seu quinhão de bugs, infelizmente.
O btrfs é um esforço para trazer a funcionalidade do ZFS para o Linux, evitando algumas das deficiências de design do ZFS. Tenha em mente que o btrfs ainda está em desenvolvimento ativo, mas está amadurecendo. Eu não recomendaria para uso de produção ainda, mas pode ser um caminho de atualização viável para você no futuro. Enquanto espera, você pode querer ficar com o ext3 / 4. Enquanto esses estão longe de serem perfeitos, eles são a sua melhor escolha no Linux agora.
Você já pensou em dividir seu volume? Então você pode executar fscks paralelos (ou menos, se você tiver alguns FSs limpos).
por exemplo. 3 x volumes de 400 GB = 1,2 TB. Use links simbólicos ou altere os caminhos homedir para colocar os arquivos no lugar certo.
O e-mail é muito bom para isso - você não recebe arquivos muito grandes.