Simule dados de aplicativo HPC para testar o desempenho do sistema de arquivos WAN em um link grande

Question

Então, aqui está a configuração: temos acesso temporário a uma conexão TCP WAN muito grande e queremos usar esse canal para fazer o teste do sistema de arquivos WAN.

Gostaríamos de gerar grandes quantidades de dados em tempo real, gravando-as no sistema de arquivos do outro lado. Temos um grande número de servidores para trabalhar, portanto, gerar dados suficientes com a simulação correta não é um problema, mas gostaríamos de simular dados reais de aplicativos HPC em vez de algo como apenas piping /dev/zero.

Como mencionei, estamos procurando realmente gravar os dados, procurando algo além de iperf ou netperf. A minha pergunta é: Algum de vocês sabe de algum simulador de dados de aplicativos da HPC? Como você testaria a gravação de dados no outro lado do link?

EDITAR:

Estou chegando perto de encontrar uma ferramenta que se encaixe no projeto.

O mais promissor é o MADbench2 que é um código de simulação científica adaptado para o paradigma I / O objetivo do teste.

Vou investigar mais algumas ferramentas em página listando Paralelo I / O Benchamrks

Não está claro qual deles realmente grava dados, o que é realmente o que pretendemos.

    

Answer 1

A maioria dos benchmarks de E / S paralelos nessa página deve, na verdade, gravar dados (embora com frequência um ruído aleatório). Eu pessoalmente só usei IOR e PIO-Bench a partir dessa lista, mas estes são todos benchmarks relativamente bem conhecidos e aceitos na comunidade HPC. "Relativamente", porque os benchmarks de I / O podem produzir guerras santas no HPC (especialmente os fornecedores) ... mas nenhum deles é realmente ruim.

IOR é o que eu tive mais experiência, e parece dar bons resultados. Pode ser complexo para configurar embora; Verifique se você tem MPI instalado e configurado corretamente para ser executado em paralelo. Para mais informações sobre o IOR, veja este documento ; esta página também é uma referência rápida útil.

Para ser honesto, o melhor benchmark para qualquer sistema é o aplicativo real. Eu confio em executar o aplicativo real contra os dados de teste mais do que qualquer benchmark, como eu fui bit por medições excessivamente simplistas que não representam um desempenho real.

    

Answer 2

Que tal algo feito manualmente usando dd e nc ?

Talvez você possa fazer dd if=/dev/sda | nc otherside 9999 e, do outro lado, nc -l 9999| dd of=/var/lib/somewhere

Você pode canalizar através de pv para ter uma ideia da quantidade de dados e velocidade.