Executando comandos em paralelo com um limite de número simultâneo de comandos

Question

Sequencial: for i in {1..1000}; do do_something $i; done - muito lento

Paralela: for i in {1..1000}; do do_something $i& done - muita carga

Como executar comandos em paralelo, mas não mais que, por exemplo, 20 instâncias por momento?

Agora, geralmente usando hack como for i in {1..1000}; do do_something $i& sleep 5; done , mas isso não é uma boa solução.

Atualização 2 : Converteu a resposta aceita em um script: link

#!/bin/bash

NUM=$1; shift

if [ -z "$NUM" ]; then
    echo "Usage: parallel <number_of_tasks> command"
    echo "    Sets environment variable i from 1 to number_of_tasks"
    echo "    Defaults to 20 processes at a time, use like \"MAKEOPTS='-j5' parallel ...\" to override."
    echo "Example: parallel 100 'echo \$i; sleep \'echo \$RANDOM/6553 | bc -l\''"
    exit 1
fi

export CMD="$@";

true ${MAKEOPTS:="-j20"}

cat << EOF | make -f - -s $MAKEOPTS
PHONY=jobs
jobs=\$(shell echo {1..$NUM})

all: \${jobs}

\${jobs}:
        i=\$@ sh -c "\$\$CMD"
EOF

Observe que você deve substituir 8 espaços por 2 guias antes de "i=" para que funcione.     

Answer 1

O GNU Parallel é feito para isso.

seq 1 1000 | parallel -j20 do_something

Pode até executar trabalhos em computadores remotos. Aqui está um exemplo para recodificar um MP3 para OGG usando server2 e computador local executando 1 trabalho por núcleo de CPU:

parallel --trc {.}.ogg -j+0 -S server2,: \
     'mpg321 -w - {} | oggenc -q0 - -o {.}.ogg' ::: *.mp3

Assista a um vídeo de introdução ao GNU Parallel aqui:

http://www.youtube.com/watch?v=OpaiGYxkSuQ

    

Answer 2

Não é uma solução bash, mas você deve usar um Makefile, possivelmente com -l para não exceda alguma carga máxima.

NJOBS=1000

.PHONY = jobs
jobs = $(shell echo {1..$(NJOBS)})

all: $(jobs)

$(jobs):
    do_something $@

Então, para iniciar 20 trabalhos por vez,

$ make -j20

ou para iniciar o maior número possível de trabalhos sem exceder uma carga de 5

$ make -j -l5

    

Answer 3

Uma ideia simples:

Verifique o módulo 20 e execute o comando wait shell antes do fazer algo.

    

Answer 4

Você pode usar ps para contar quantos processos está em execução e, sempre que isso ficar abaixo de um determinado limite, você inicia outro processo.

pseudocódigo:

i = 1
MAX_PROCESSES=20
NUM_TASKS=1000
do
  get num_processes using ps
  if num_processes < MAX_PROCESSES
    start process $i
    $i = $i + 1
  endif
  sleep 1 # add this to prevent thrashing with ps
until $i > NUM_TASKS

    

Answer 5

for i in {1..1000}; do 
     (echo $i ; sleep 'expr $RANDOM % 5' ) &
     while [ 'jobs | wc -l' -ge 20 ] ; do 
         sleep 1 
     done
done

    

Answer 6

_{^{postando o script na pergunta com formatação:}}

#!/bin/bash

NUM=$1; shift

if [ -z "$NUM" ]; then
    echo "Usage: parallel <number_of_tasks> command"
    echo "    Sets environment variable i from 1 to number_of_tasks"
    echo "    Defaults to 20 processes at a time, use like \"MAKEOPTS='-j5' parallel ...\" to override."
    echo "Example: parallel 100 'echo \$i; sleep \'echo \$RANDOM/6553 | bc -l\''"
    exit 1
fi

export CMD="$@";

true ${MAKEOPTS:="-j20"}

cat << EOF | make -f - -s $MAKEOPTS
PHONY=jobs
jobs=\$(shell echo {1..$NUM})

all: \${jobs}

\${jobs}:
        i=\$@ sh -c "\$\$CMD"
EOF

Observe que você deve substituir 8 espaços por 2 guias antes de "i=".

    

Answer 7

você pode fazer assim.

threads=20
tempfifo=$PMS_HOME/$$.fifo

trap "exec 1000>&-;exec 1000<&-;exit 0" 2
mkfifo $tempfifo
exec 1000<>$tempfifo
rm -rf $tempfifo

for ((i=1; i<=$threads; i++))
do
    echo >&1000
done

for ((j=1; j<=1000; j++))
do
    read -u1000
    {
        echo $j
        echo >&1000
    } &
done

wait
echo "done!!!!!!!!!!"

usando pipes nomeados, todas as vezes, ele executa 20 sub-shell em paralelo.

Espero que ajude:)