Como obter o melhor resultado do LINPACK e conquistar o Top500?

Question

Dado um grande cluster HPC Linux com centenas / milhares de nós. Quais são as suas melhores práticas para obter o melhor benchmark LINPACK ( HPL ) resultam em envio para o Top500 lista de supercomputadores ?

Para lhe dar uma ideia de que tipo de respostas gostaria de receber, aqui estão algumas subquestões (com links):

• Como você ajustar os parâmetros ( N , NB , P , Q , alinhamento de memória, etc) para o arquivo HPL.dat (sem gastar muito tempo tentando cada permutação possível - esp em grandes tamanhos de problema N)?
• Há alguma Top500 regras de envio para estar ciente? O que é permitido, o que não é?
• Que produto MPI , qual versão? Faz diferença?
• Qualquer ordem de host especial em seu arquivo de máquina MPI?
• Você usa pinagem de CPU ?
• Como você configura sua interconexão ? Qual interconexão?
• Que pacote BLAS você usa para qual modelo de CPU? ( Intel MKL , AMD ACML , GotoBLAS2 , etc .)
• Como você se prepara para a grande execução (em todos os nós)? Comece com pequenas execuções em um subconjunto de nós e, em seguida, amplie? É realmente necessário executar o LINPACK com uma grande execução em todos os nós (ou a extrapolação é permitida)?
• Como você otimiza os mais recentes processadores Intel / AMD? Hyperthreading ? NUMA ?
• Vale a pena recompilar a pilha de software ou você usa binários pré-compilados ? Quais configurações? Quais otimizações do compilador , qual compilador? (E sobre compilação baseada em perfil?)
• Como obter o melhor resultado com um tempo limitado para executar o benchmark? (Você pode bloquear um enorme cluster para sempre)
• Como você prepara os nós individuais (interrompendo daemons do sistema, liberando memória, etc)?
• Como você lida com falhas de hardware (estragando uma grande corrida)?
• Existem alguns documentos ou sites obrigatórios sobre esse tópico? Por exemplo. Eu adoraria ouvir sobre algumas histórias de fundo de alguns dos atuais sistemas Top500 e como eles fizeram o benchmark LINPACK.

Eu deliberadamente não quero mencionar detalhes concretos de hardware ou discutir recomendações de hardware porque não quero limitar as respostas. No entanto, sinta-se à vontade para mencionar sugestões, por ex. para modelos de CPU específicos.

    

Answer 1

Dê a esta ferramenta uma ajuda que pode ajudá-lo, sugere valores ajustados para alguns dos parâmetros críticos de HPL e há um howto passo a passo para executar o HPL em clusters. A ferramenta também estima sua classificação na lista TOP500, dependendo das especificações do seu sistema:

link

Espero que você ache útil.