como fazer o teste do sistema de arquivos?

Question

Estou planejando testar um sistema de arquivos. O que tudo devo considerar fazer. ou como realizar o mesmo. Existem ferramentas para testar um sistema de arquivos ou qualquer referência confiável?

Propósito: Planejando mudar de ext3 para EFS.

    

Answer 1

Minha primeira resposta também seria bonnie ++, uma pesquisa rápida também revela Iozone3 . Ambos estão disponíveis como pacotes Debian. Se você fizer testes mais simples (cp, mv, rm), você deve considerar limpar o cache mantido pelo kernel com echo 1 > /proc/sys/vm/drop_caches antes de cada teste, caso contrário pode causar diferenças que não são representativas do próprio sistema de arquivos.

    

Answer 2

Aqui estão mais duas opções, descobri que são realmente úteis para o benchmarking de arquivos.

1) Carimbo postal - é uma referência que emula o uso real de um sistema de arquivos acessado por um servidor de e-mail ocupado.

Download: link

Ao testar, verifique se você comparou diferentes opções de registro em log ext3 - elas podem ser bem diferentes em termos de desempenho (o log de write-back deu o melhor resultado em meus experimentos de postagem).

2) Filebench - outro excelente benchmark, dando-lhe ainda mais flexibilidade. Se você tem uma razão específica para considerar um movimento do ext3, provavelmente gostará do filebench - ele tem muitas cargas de trabalho diferentes para que você possa se concentrar somente no gargalo de desempenho que interessa a você (operações de criação / exclusão de arquivos ou leitura / gravação seqüencial). aleatórios, para dar alguns exemplos).

Você precisa procurar no Google, já que eu não tenho mais nenhum hyperlink - o projeto em si é hospedado no SourceForge, e um ótimo guia de início rápido é encontrado no site do OpenSolaris.org.

Uma observação final: distribua a carga em tantos discos (fusos) quanto possível para obter resultados mais precisos. Também faz sentido alocar alguns discos para benchmarking especificamente, e newfs antes de cada execução do seu benchmark.

    

Answer 3

Não basta testar a velocidade, considere também a confiabilidade. Tente, por exemplo, desligar discos em um sistema de arquivos ocupado e ver o que resta.

A qualidade das ferramentas de reparo e recuperação disponíveis também é importante e muito difícil de testar discretamente. Estrutura de bloco pode, e. Inibir ferramentas que tentam recuperar dados no modo raw a partir de um sistema de arquivos irrecuperável.

Para mais dicas sobre como testar um sistema de arquivos sob batidas muito duras, você pode ser interessante o que os caras do ZFS fizeram: Um Dois

    

Answer 4

Nós usamos o Rugg para testar os sistemas de arquivos de nossos servidores. É baseado em Python e fácil de usar. Ele funciona criando um arquivo grande que é subdividido e executa várias operações em seqüência ou em paralelo.

Editar: aqui está um exemplo de script que testará / dados (uma partição) repetidamente até que o script seja eliminado:

#!/bin/bash

(
while true
do
  cd /data
  rm -rf *
  rugg 'zone 97%, subdivide 16 | blank | ensure blank | fill same text, ensure same'
done
) | tee /tmp/rugg.log

exit 0

    

Answer 5

Mais alguns:

• fio que é semelhante ao filebench mencionado acima: "fio é uma ferramenta de E / S destinada a ser usada tanto para benchmark como para stress / verificação de hardware.Ele tem suporte para 13 tipos diferentes de mecanismos de E / S (síncrono, mmap, libaio, posixaio, SG v3, splicing, nulo, rede, syslet, guasi, solarisaio e mais), prioridades I / O (para mais recente Kernels Linux), taxa de E / S, trabalhos bifurcados ou encadeados, e muito mais.Ele pode trabalhar em dispositivos de bloco, bem como arquivos.é aceito descrições de trabalho em um formato de texto simples de entender.Existem vários arquivos de trabalho de exemplo. O fio exibe todos os tipos de informações de desempenho de E / S. Ele suporta Linux, FreeBSD e OpenSolaris. "
• File System Exerciser (fsx) originalmente da Apple, mas atualmente existem variantes para vários sistemas operacionais.

Answer 6

Embora o bonnie ++ seja focado principalmente no desempenho de benchmarking, ele funciona acima do sistema de arquivos. Ele executa alguns testes que fornecem resultados diferentes por sistema de arquivos. Eu suspeito que você provavelmente está interessado na mudança no desempenho relacionado ao EFS também, então você pode querer tentar isso pelo menos como um de seus testes.