Perguntas sobre 'parallelism'

3
respostas

Múltiplos processos tar gravando no mesmo arquivo de uma só vez

Estou executando muitas tarefas em um cluster do Linux. Cada tarefa cria muitos arquivos de saída. Quando todas as tarefas terminarem, executo algo como tar cf foo.tar output_files/ para criar um arquivo tar . Este é um processo muito lento...
01.07.2014 / 00:56
2
respostas

Como disponibilizar uma função para o comando 'parallel' (GNU)?

No Bash, vamos considerar uma função que não faz nada além de echo do argumento seguido por "é um inteiro". f () { num="${!1}"; echo $num is an integer; } number=12 f number # 12 is an integer Eu gostaria de escrever em um arquivo um n...
20.03.2016 / 22:06
1
resposta

Existe uma maneira de executar o processo paralelamente no loop de um script bash [duplicado]

O código original pode ser assim: for i in *; do something.py $i; done Eu queria saber se posso executar esses trabalhos paralelamente no backgroud, como: for i in *; do something.py $i &; done Eu tentei e encontrei o &a...
31.10.2012 / 03:49
3
respostas

Como acelerar minha compilação

Estou fazendo uma compilação em uma máquina Linux com o Ubuntu 10.04. Como posso realmente acelerar minha build? Eu tenho 4 CPUs e muita memória RAM. Eu já renomei o grupo de processos para -20. Há mais alguma coisa que eu possa fazer?     
25.08.2011 / 22:00
4
respostas

Faça o download de vários arquivos com o wget em paralelo

Eu tenho o seguinte script: for i in {0800..9999}; do for j in {001..032}; do wget http://example.com/"$i-$j".jpg done done Todas as fotos existem e, de fato, cada iteração não depende de outra. Como paralelizar com possib...
30.07.2017 / 23:03
5
respostas

Quão seguro é a saída para dir simultaneamente com rm dir / *

Às vezes, preciso remover todo o conteúdo de um diretório e criar novos arquivos nele. Posso fazer algo assim e esperar que todos os novos arquivos permaneçam intactos: % rm -rf regression/* & ( sleep 10 ; run_regression ) em que run...
31.05.2016 / 22:48
5
respostas

executa um script em várias pastas em paralelo

Eu tenho vários subdiretórios dentro do diretório de alto nível. Cada subdiretório possui vários arquivos e um shell script para loop. O mesmo script de loop está presente em cada subdiretório. Eu quero ir em cada subdiretório e executar o scrip...
29.05.2017 / 09:07
2
respostas

Como executar x instâncias de um script paralelo?

Eu tenho scripts que sempre gostaria de executar instâncias 'x' em paralelo. O código parece assim: for A in do for B in do (script1.sh $A $B;script2.sh $A $B) & done #B done #A Os próprios scripts executam consultas de...
24.06.2015 / 02:32
2
respostas

Executando comandos de uma só vez

Eu tenho um arquivo de texto contendo os seguintes comandos command1 file1_input; command2 file1_output command1 file2_input; command2 file2_output command1 file3_input; command2 file3_output command1 file4_input; command2 file4_output comman...
31.07.2016 / 02:41
2
respostas

divida um arquivo, passe cada parte como um parâmetro para um script, execute cada script em paralelo

Eu tenho um words.txt com 10000 palavras (uma para uma linha). Eu tenho 5.000 documentos. Eu quero ver quais documentos contêm qual dessas palavras (com um padrão de regex em torno da palavra). Eu tenho um script.sh que greps os documentos e saí...
29.07.2014 / 02:53