Perguntas sobre 'gnu-parallel'

Tags
2
respostas

usando awk com paralelo

Eu tenho cerca de 3.000 arquivos com 300MB cada, e gostaria de pesquisá-los para uma série de substrings o mais rápido possível com meu servidor de 16 núcleos. Isso é o que eu tentei, mas não parece paralelizar a pesquisa dos arquivos. sud...
26.02.2013 / 06:44
1
resposta

Gnu paralelo e vários nós usando rsh em vez de ssh

Posso usar rsh em vez de ssh para dividir tarefas entre nós em uma configuração hpc? Ou o gnu-parallel só pode enviar tarefas diferentes por ssh?     
15.03.2018 / 18:29
1
resposta

Curvatura paralela com o nome do arquivo de entrada e saída no shell do Linux

Eu costumo baixar arquivos em paralelo com curl e urls em um arquivo como este: cat links.txt | parallel --will-cite curl --connect-timeout 5 --max-time 10 --retry-max-time 40 --retry 5 --retry-delay 0 -s -f -O -C - Onde links.txt tem um...
14.11.2017 / 19:57
2
respostas

Paralelização do tar remoto e obtenção de saída pelo pipe ssh

Eu tentei paralelizar o script que estou usando, mas até agora o GNU Parallel é muito desafiador. Eu tenho 2 arquivos - um contendo hosts nos quais executar o comando e segundo tendo params para o comando. Abaixo estão os dados da amostra:...
21.01.2017 / 16:16
2
respostas

zera um dispositivo de bloco grande com dd paralelizado

Temos um dispositivo de bloco de sessenta terabytes que queremos zerar usando o dd. É possível paralelizar esta operação para reduzir o tempo necessário? Eu tentei executar o seguinte comando , mas isso não é bem o que estou procurando: s...
27.07.2015 / 23:29
1
resposta

Parallel: Número limitado de processos multi-threaded

Estou usando o GNU paralelo para executar vários trabalhos em paralelo assim: parallel python3 main.py arg ::: args* . Com tarefas de encadeamento único, usei -j 100% para garantir que 1 tarefa seja mapeada para 1 núcleo. Agora, cada tra...
11.07.2017 / 10:21
0
respostas

O GNU paralelo não parece reler o sshloginfile durante a execução

Estou tentando obter paralelamente para adicionar / remover nós de processamento dinamicamente e sou capaz de especificar quais hosts devem ser executados usando --sshloginfile. Infelizmente, alterar as entradas em sshloginfile enquanto o para...
20.12.2016 / 04:29
0
respostas

por que meu nó mestre está ocioso ao executar o gnu paralelamente remotamente?

Estou usando o gnu-parallel para executar vários scripts python em paralelo em vários computadores na minha rede gigabit. Os arquivos que estão sendo processados estão localizados em uma pasta tmpfs (RAM) no meu nó mestre. Quando inicio um pr...
08.08.2015 / 04:45
2
respostas

Saída de depuração

Eu tentei acelerar a importação de um grande conjunto de dados com uma pasta cheia de arquivos .sql ls -rS *.sql | parallel -j16 mysql -uusername -ppassword dbname "<" Logo depois de executar isso, recebo um erro: ERROR 1146 (42S02)...
07.09.2013 / 04:27
10
respostas

Paralelizar um Bash FOR Loop

Eu tenho tentado paralelizar o seguinte script, especificamente cada uma das três instâncias do loop FOR, usando o GNU Parallel, mas não consegui. Os 4 comandos contidos no loop FOR são executados em série, cada loop leva cerca de 10 minutos....
05.12.2013 / 22:04