CPU ou gargalo de disco?

Question

Digamos que eu tenha as máquinas A e B, onde a máquina B tem um disco moderadamente mais rápido, mas um processador comparável à máquina A, tudo o mais é o mesmo. Eu executo um grande trabalho do Spark localmente em ambas as máquinas, onde o conjunto de dados de entrada é muito grande para caber na memória, forçando o uso do disco. Enquanto executo esse grande trabalho do Spark, eu coleciono métricas do sistema usando sysstat / sar. O objetivo disso é comparar os processadores.

A máquina B consegue terminar o trabalho aproximadamente 10% mais rápido. Vejo que a máquina B é capaz de obter leituras / gravações de setor superior por segundo (30% a mais), com tempos médios de resposta de solicitação de E / S menores (até 250% melhor) usando sar. Cheguei à conclusão de que a máquina B tem uma vantagem injusta sobre a máquina A, por causa de seu disco mais rápido.

Minha pergunta é, como eu seria capaz de determinar se o processador da máquina B é apenas mais eficiente na utilização de disco I / 0 do que na máquina A? Mais especificamente, como posso ter certeza de que as diferenças na velocidade do disco não causam uma vantagem injusta, a fim de fazer uma comparação justa entre os processadores? Existe alguma métrica do sistema que forneça mais informações sobre isso?

    

Answer 1

Se você acha que o afunilamento de E / S de Disco é injusto, então você deve eliminá-lo da equação, e a maneira mais fácil de fazer isso é fazer todo o trabalho em discos RAM (claro que você precisará de RAM e limitado no espaço) E se a tecnologia RAM de ambos não for a mesma, você terá outro cenário injusto.

Da mesma forma, você poderia usar um servidor NFS central e, em seguida, o gargalo seria a rede.

Portanto, se a linha de base for o trabalho do Spark, a ideia é comparar e não encontrar a configuração mais rápida. Eu posso aconselhar para nivelar a situação e ter todo o conjunto de dados em um armazenamento USB e, em seguida, o disco i / o deve corresponder (contanto que você use o mesmo tipo de conector USB2 ou ambos USB3)