Perguntas sobre 'gnu-parallel'

Tags
2
respostas

arquivos scp da pasta particular em paralelo

Eu quero arquivos scp de machineA em meu machineB e é assim que estou fazendo isso. Estou copiando vários arquivos um por um da pasta primary da pasta machineA para primary da pasta machineB e secondary da pasta machineA...
25.05.2017 / 00:20
1
resposta

Impedir que o GNU paralelo divida argumentos citados

Estou tentando usar o Paralelo GNU para executar um tempo múltiplo comman com uma combinação de argumentos constantes e variáveis . Mas, por algum motivo, os argumentos constantes são divididos em espaço em branco, embora eu os tenha citado ao...
10.05.2017 / 12:59
1
resposta

GNU paralelo excessivamente lento

Eu preciso executar grep em alguns milhões de arquivos. Por isso, tentei acelerá-lo, seguindo as duas abordagens mencionadas aqui : xargs -P -n e GNU parallel . Eu tentei isso em um subconjunto dos meus arquivos (9026 em número), e este...
30.03.2016 / 18:15
1
resposta

Paralelo GNU - grepping n linhas para m expressões regulares

O paralelo GNU grepping n linhas para m expressões regulares , o exemplo declara o seguinte: If the CPU is the limiting factor parallelization should be done on the regexps: cat regexp.txt | parallel --pipe -L1000 --round-robin grep -f...
03.10.2014 / 17:25
1
resposta

O GNU Parallel não executa os jobs até que o programa tenha saído

Quando eu corro (o código do rss-notifier é incluído no final), rss-notifier.zsh https://www.wuxiaworld.com/feed/chapters ".*"|parallel --null -k --lb echo {} Eu recebo Title: Sovereign of the Three Realms -
18.11.2018 / 09:57
1
resposta

GNU Parallel: Como limitar o máximo de tarefas de rede por host

Estou usando o GNU Parallel para escanear uma lista de URLs (de hosts diferentes) para obter vulnerabilidades, como esta: cat urls.txt | parallel --gnu -j 50 ./scan {} O programa 'scan' funciona para um URL em um thread. E preciso limitar...
05.04.2015 / 20:13
2
respostas

xargs, registros e entrada padrão

Eu tenho um arquivo de registros delimitado por 0 bytes. Record 1, Line 1 Record 1, Line 2 [zero byte] Record 2, Line 1 Record 2, Line 2 Gostaria de executar o comando "process.sh" uma vez para cada registro, com o registro como entrada p...
23.10.2014 / 11:40
1
resposta

Executando o GNU Parallel em 2 ou mais nós com o scheduler do Slurm

Estou tentando distribuir execuções independentes de um processo usando o GNU Parallel em um HPC que usa o gerenciador de carga de trabalho Slurm. Resumidamente, aqui está a configuração da análise de dados: Script # 1: myCommands ./myscri...
30.01.2017 / 19:24
2
respostas

Pode stdout de saída paralela do GNU antes do programa ter saído?

echo bash -c \''echo "hello, world!";sleep 3;'\' | parallel Este comando não produz nada até que seja concluído. A página man do Parallel afirma: GNU parallel makes sure output from the commands is the same output as you would get had y...
13.05.2018 / 13:17
1
resposta

Por que meu comando paralelo imprime “Starting” e “Finished” ao mesmo tempo?

ls *.txt | parallel 'echo Starting on file {}; mkdir {.}; cd {.}; longCMD3 ../{} > /dev/null; echo Finished file {}' Este forro parcial funciona parcialmente, exceto que longCMD3 leva cerca de 3 minutos, mas os primeiros e segundos comand...
29.12.2017 / 15:29