Perguntas sobre 'gnu-parallel'

Tags
1
resposta

Paralelo GNU vs & (quero dizer fundo) vs xargs -P

Estou confuso sobre a diferença ou vantagem (se houver) de executar um conjunto de tarefas em um script .sh usando GNU parallel Por exemplo Resposta do Ole Tange : parallel ./pngout -s0 {} R{} ::: *.png em vez de dizer loop por...
12.12.2013 / 01:08
6
respostas

usando paralela para processar arquivos de entrada exclusivos em arquivos de saída exclusivos

Eu tenho um problema de script de shell onde recebo um diretório cheio de arquivos de entrada (cada arquivo contém muitas linhas de entrada), e eu preciso processá-los individualmente, redirecionando cada uma das suas saídas para um arquivo excl...
20.02.2012 / 04:17
2
respostas

Por que o paralelo (GNU?) falha silenciosamente, e como eu corrijo isso?

Em um script maior para pós-processar alguns dados de simulação, eu tinha a seguinte linha: parallel bnzip2 -- *.bz2 Qual, se eu entendi parallel corretamente (e eu não posso), deve executar threads n-core do programa sobre todos os ar...
03.04.2012 / 16:54
3
respostas

Como eu usaria o GNU Parallel para este loop while?

Então eu tenho um loop while: cat live_hosts | while read host; do \ sortstuff.sh -a "$host" > sortedstuff-"$host"; done Mas isso pode levar muito tempo. Como eu usaria o GNU Parallel para este loop while?     
11.09.2015 / 13:50
6
respostas

Paraleliza o rsync usando o GNU Parallel

Eu tenho usado um script rsync para sincronizar dados em um host com os dados em outro host. Os dados têm vários arquivos de tamanho pequeno que contribuem com quase 1,2 TB. Para sincronizar esses arquivos, tenho usado o comando rsync d...
13.03.2015 / 07:51
4
respostas

Usando o GNU Parallel With Split

Estou carregando um arquivo gigantesco em um banco de dados postgresql. Para fazer isso, primeiro uso split no arquivo para obter arquivos menores (30Gb cada) e, em seguida, carrego cada arquivo menor no banco de dados usando GNU Parallel...
28.02.2013 / 21:28
2
respostas

Paralelo GNU do pobre homem implementado em ksh?

Eu gostaria de usar o recurso de paralelo GNU , onde ele pode executar o comando e a lista que ele usa em paralelo e cuspiu depois que tudo estiver pronto, no entanto, eu não quero instalar o GNU paralelo em todos os nossos servidores. Ou ta...
20.06.2011 / 17:24
3
respostas

Como usar o GNU paralelamente de forma eficaz

Suponha que eu queira encontrar todas as correspondências no arquivo de texto compactado: $ gzcat file.txt.gz | pv --rate -i 5 | grep some-pattern pv --rate usado aqui para medir o throughput do tubo. Na minha máquina é cerca de 420Mb...
03.02.2015 / 11:05
1
resposta

Executando tarefas bash paralelas em um cluster HPC usando o GNU paralelo [closed]

Em um cluster HPC, estou tentando executar vários scripts bash ( permute2.sh ) de um script bash usando o GNU paralelo, mas ele não completa todos os trabalhos. Ele conclui aleatoriamente um trabalho, enquanto ele está preso ao outro. perm...
18.12.2012 / 20:44
3
respostas

É seguro canalizar a stdout de A para B em paralelo?

Estou executando A file | B --params > file.txt . Como desejo acelerar a velocidade de processamento, usei o parallel -j+0< a.txt para executar 20 trabalhos simultaneamente. a.txt contém todos os comandos: A file1 | B --params >...
10.06.2014 / 18:21