Perguntas sobre 'gnu-parallel'

Tags
1
resposta

Como posso instalar o GNU Parallel juntamente com o Moreutils?

O Homebrew tem uma fórmula para moreutils e GNU parallel . GNU Conflitos paralelos com Moreutils, uma vez que também possui um binário chamado parallel , que é menos útil. No entanto, eu ainda gostaria de instalar as duas fórmulas a...
03.02.2013 / 11:29
2
respostas

Como usar o GNU paralelo com gunzip

Eu tenho um diretório cheio de .gz , eu quero expandir cada arquivo em paralelo com o GNU paralelo. No entanto, eu não consegui nada. Eu tentei parallel 'gunzip {}' ::: 'ls *.gz' parallel gunzip 'ls *.gz' sem resultados, o bash diz:...
08.06.2013 / 01:13
2
respostas

Paralelo GNU - variáveis globais e função

Eu tenho este script: GLOBAL_VAR="some global value" function test { echo $1 echo ${GLOBAL_VAR} } export -f test parallel --jobs 5 --linebuffer test ::: "${files[@]}" Como posso ter $GLOBAL_VAR visível em paralelo?     
23.06.2017 / 15:59
3
respostas

Gnu paralelo e ack não jogando bem devido a stdin, pipe

Estou tentando usar parallel e ack para fazer algumas pesquisas em paralelo. No entanto, ack parece insistir em usar stdin se ele se encontrar em um canal, mesmo se você fornecer arquivos para pesquisa: $ echo hello > test.txt...
29.04.2014 / 00:35
1
resposta

Suprimindo stderr no Paralelo GNU

Estou usando o GNU Parallel para executar um comando ao mesmo tempo milhares de vezes. Para obter os registros da execução, estou usando --files e --results . Para obter uma boa barra de progresso enquanto está em execução, estou usan...
29.07.2014 / 22:27
2
respostas

Obtenha melhor compactação para vários arquivos compactados com gzip

Eu tenho vários diretórios contendo milhares de arquivos gzip (no geral, estamos falando de arquivos 1M). Alguns desses arquivos estão corrompidos e a maioria deles é realmente pequena em tamanho (alguns KB). Quase todos eles são altamente se...
13.01.2018 / 00:47
2
respostas

Múltipla leitura de um arquivo txt no bash (processamento paralelo)

Aqui está um script simples para o código de status HTTP while read url do urlstatus=$(curl -o /dev/null --silent --head --write-out '%{http_code}' "${url}" --max-time 5 ) echo "$url $urlstatus" >> urlstatus.txt...
18.01.2017 / 13:13
1
resposta

Usando sed com parallel dá saída vazia ao redirecionar para arquivo

Estou usando o shell zsh . Eu estou tentando usar sed para substituir algum texto em muitos arquivos, usando paralelamente para acelerar o processo. Quando testei isso em um arquivo e deixei a saída do comando ir para stdout , vi o result...
10.06.2014 / 13:00
2
respostas

executa um comando para cada linha de stdin imediatamente?

Como executo um comando para cada linha de stdin imediatamente? Exemplo : (echo abc; sleep 10; echo def;) | ??? A ferramenta xargs não faz o trabalho porque bloqueia até ver todos os dados (espera que o stdout feche). No entan...
22.12.2015 / 11:17
1
resposta

Download em lote de URLs da linha de comando multithreaded

Eu tenho 100.000 URLs de arquivos pequenos para download. Gostaria de usar 10 threads e pipelining é uma obrigação. Eu concateno o resultado para um arquivo. A abordagem atual é: cat URLS | xargs -P5 -- curl >> OUTPUT Existe uma opç...
16.08.2013 / 14:42