Perguntas sobre 'parallelism'

Tags
4
respostas

Criando um único fluxo de saída a partir de três outros fluxos produzidos em paralelo

Eu tenho três tipos de dados que estão em diferentes formatos; para cada tipo de dados, existe um script Python que o transforma em um único formato unificado. Este script Python é lento e limitado pela CPU (para um único núcleo em uma máquin...
25.10.2012 / 07:44
4
respostas

Sistema de arquivos somente de gravação virtual para armazenar arquivos em archive

Eu tenho um processo embaraçosamente paralelo que cria uma enorme quantidade de quase (mas não completamente) arquivos idênticos. Existe uma maneira de arquivar os arquivos "on the fly", para que os dados não consumam mais espaço do que o necess...
11.03.2014 / 15:37
2
respostas

Paralelo GNU do pobre homem implementado em ksh?

Eu gostaria de usar o recurso de paralelo GNU , onde ele pode executar o comando e a lista que ele usa em paralelo e cuspiu depois que tudo estiver pronto, no entanto, eu não quero instalar o GNU paralelo em todos os nossos servidores. Ou ta...
20.06.2011 / 17:24
3
respostas

corrigir uso paralelo de xargs

Estou usando xargs para chamar um script python para processar cerca de 30 milhões de arquivos pequenos. Espero usar xargs para paralelizar o processo. O comando que estou usando é: find ./data -name "*.json" -print0 | xargs -0 -I{} -...
19.04.2015 / 08:59
2
respostas

Como posso fazer o paralelismo do upload de um diretório por FTP?

Eu preciso fazer o upload de um diretório com uma árvore bastante complicada (muitos subdiretórios, etc.) por FTP. Não consigo compactar este diretório, pois não tenho acesso ao destino além do FTP - por exemplo, sem alcatrão Como esta é uma dis...
19.01.2014 / 14:19
4
respostas

Execução paralela de um programa em vários arquivos

Eu tenho um pequeno script que percorre todos os arquivos de uma pasta e executa um comando (geralmente de longa duração). Basicamente é for file in ./folder/*; do ./bin/myProgram $file > ./done/$file done (Por favor, ignore erros...
10.05.2012 / 10:53
3
respostas

É seguro canalizar a stdout de A para B em paralelo?

Estou executando A file | B --params > file.txt . Como desejo acelerar a velocidade de processamento, usei o parallel -j+0< a.txt para executar 20 trabalhos simultaneamente. a.txt contém todos os comandos: A file1 | B --params >...
10.06.2014 / 18:21
1
resposta

É possível executar dois comandos ao mesmo tempo em um script de shell?

Eu sei que na linha de comando eu posso usar & para executar um comando em segundo plano. Mas eu estou querendo saber se eu posso fazer isso em um script. Eu tenho um script como este: date_stamp=$(date +"%Y-%m-%d" --date='yesterday...
17.10.2014 / 06:40
2
respostas

Forçando o GNU make a executar comandos em ordem

Com o Makefile a seguir, o GNU make executa os dois comandos em paralelo. Como o primeiro demora para ser concluído, rm *.log é executado antes da criação do arquivo log e falha. dummy.pdf: dummy.tex tex dummy.tex &> /dev/nul...
17.03.2011 / 20:34
2
respostas

Como tornar esta pesquisa mais rápida em fgrep / Ag?

Estou pensando em métodos para tornar a pesquisa mais rápida e / ou melhor, que usa principalmente fgrep ou ag . Código que pesquisa a palavra and sem distinção entre maiúsculas e minúsculas em $HOME e redireciona uma lista de corresp...
24.12.2016 / 13:35