Grid Engine / multithreading / multi-core / multi-cpu: Como decidir o número ideal de threads?

Question

Estou usando um programa (*) em unix / linux (vários tipos) em vários servidores e clusters, o programa suporta multithreading. Eu posso especificar quantos tópicos eu quero através da opção de linha de comando.

De modo geral, como posso determinar quantos encadeamentos devo especificar para o multithreading (para obter velocidade máxima)?

O número de threads deve ser menor / igual ao número de threads de hardware que a respectiva CPU suporta? Existe alguma regra geral ou ponto de partida?

Se sim, como posso descobrir quantos encadeamentos de hardware uma CPU suporta?

Também devo mencionar que os computadores em que eu geralmente o rodeio possuem várias CPUs, cada uma com vários núcleos. Não está claro se um núcleo = um segmento.

(*) O programa que eu uso é o bwa, um programa para alinhar seqüências de DNA. Mas a minha pergunta é de natureza geral.

    

Answer 1

Bem, há algumas partes para essa questão - em geral, uma boa regra prática é não executar mais threads do que você tem processadores lógicos - embora isso geralmente seja para todo o sistema e possa depender da carga. Para descobrir quantos núcleos de processador físico você possui, você pode usar cat /proc/sysinfo . Ele irá imprimir um conjunto de linhas para cada núcleo lógico então role para baixo e olhe para o último (eu tenho 8 quase idênticos no meu sistema quad, HT)

processor       : 7
vendor_id       : GenuineIntel
cpu family      : 6
model           : 58
model name      : Intel(R) Core(TM) i7-3770 CPU @ 3.40GHz
stepping        : 9
microcode       : 0x16
cpu MHz         : 3401.000
cache size      : 8192 KB
physical id     : 0
siblings        : 8
core id         : 3
cpu cores       : 4
apicid          : 7
initial apicid  : 7
fpu             : yes
fpu_exception   : yes
cpuid level     : 13
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx rdtscp lm constant_tsc arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm ida arat epb xsaveopt pln pts dtherm tpr_shadow vnmi flexpriority ept vpid fsgsbase smep erms
bogomips        : 6819.66
clflush size    : 64
cache_alignment : 64
address sizes   : 36 bits physical, 48 bits virtual
power management: 

Eu vou escolher as linhas importantes aqui id físico: 0 (este é o primeiro socket - se você usa mais de um socket então verifique o processador e núcleos de cpu para cada jd físico - se este for um número maior que 0 você tem vários sockets)

Processador: 7 (Esse número começa de 0 a n-1, este é o oitavo núcleo lógico em seu soquete - olhando para o maior número que você tem para um conjunto de valores compartilhando um id físico)

núcleos cpu: 4 (eu tenho 4 núcleos físicos - isso será o mesmo para cada núcleo e, como o SMP geralmente usa núcleos idênticos, deve ser o mesmo em um sistema de soquete duplo)

Meu processador deve permitir que eu execute 8 threads simultaneamente, assumindo um núcleo por thread. Dito isto, dependendo do tempo de execução, e outros fatores, você pode ser capaz de se safar com mais

O SO tem algumas perguntas sobre isso e escolhe duas delas. As respostas a essa pergunta sugerem que um thread por núcleo lógico é uma boa idéia embora este sugere que você pode subir mais. Como tal, infelizmente a resposta é começar com um thread por processo, e ajustá-lo mais alto - o que pode ser um número insanamente alto de threads, se eles não forem muito tempo, threads com fome de memória.

    

Answer 2

O Grid Engine é um programa específico que faz sua pergunta ser questionável se você realmente o utiliza. O principal objetivo é gerenciar recursos e tarefas em todos os sistemas, para que os usuários finais não precisem pensar nesse nível de detalhe.

Introduction

The Oracle Grid Engine software is a distributed resource management (DRM) system that enables higher utilization, better workload throughput, and higher end-user productivity from existing compute resources. By transparently selecting the resources that are best suited for each segment of work, the Oracle Grid Engine software is able to distribute the workload efficiently across the resource pool while shielding end users from the inner working of the compute cluster

Ref: Guia para iniciantes no Oracle Site do Grid Engine .