Tente:
parallel --load 100% ...
Analisa o número de processos atualmente em execução e inicia um trabalho se houver um núcleo ocioso.
Estou usando o GNU Parallel para iniciar automaticamente um grande número de jobs e distribuí-los nos núcleos de uma máquina. Um trabalho por núcleo.
parallel python3 program.py ::: inputs1*
Quando um conjunto de trabalhos está prestes a terminar, os trabalhos restantes usam apenas um subconjunto dos núcleos disponíveis. Seria bom começar o próximo conjunto de entradas com parallel para que eles usem apenas os núcleos não utilizados. Então, a princípio, um subconjunto de todos os núcleos, mas depois, uma vez terminados os trabalhos anteriores, todos os núcleos disponíveis (portanto, não posso usar --jobs ).
Se eu apenas iniciar um segundo comando de parallel , ele iniciará os trabalhos também para os núcleos que já foram usados pelo outro comando. Existe uma maneira legal e fácil de evitar isso?
Tente:
parallel --load 100% ...
Analisa o número de processos atualmente em execução e inicia um trabalho se houver um núcleo ocioso.
Tags shell gnu-parallel parallelism