Perguntas sobre 'parallel-computing'

Tags
0
respostas

Processos de farm transparente para cluster

Situação: No trabalho, temos uma ferramenta interna para processamento de dados. Quando um trabalho é acionado, ele inicia várias cópias de si mesmo em processos separados e se comunica com eles para processar em paralelo. Atualmente está con...
07.11.2015 / 23:36
3
respostas

Executa o loop de shell em paralelo, mas apenas N workers

Temos mais de 100 git repos e, às vezes, quero grep acima de tudo. Para atualizar os repositórios eu uso isso: for repo in *; do (cd $repo; git checkout master; git pull); done Isso é muito lento. Como acelerar isso? A execuçã...
08.07.2015 / 10:25
1
resposta

Sobrecarga de múltiplos núcleos acima de 100% no Centos7 Supermicro Server

Estou executando o Centos 7 (3.10.0-514.26.2.el7.x86_64) em uma placa supermicro H8QG6 com 4 processadores AMD 6276 (16 núcleos), para um total de 64 núcleos. Eu o uso para computação científica e, geralmente, tudo funciona sem problemas, como n...
26.09.2017 / 22:20
1
resposta

R scripts que só são executados sequencialmente, qualquer forma de paralelizar sua execução com múltiplos núcleos?

eu tenho alguns scripts R, que só podem ser executados de forma sequencial, não podem ser divididos em partes ou qualquer biblioteca paralela para R ou qualquer outra linguagem não pode ser usada. Existe alguma maneira eu posso distribuir a e...
28.10.2018 / 15:46
1
resposta

Como melhorar a eficiência do gnu paralelo para ler de um fluxo comprimido?

É outra questão que se estende desde a anterior [1] Eu tenho um arquivo compactado e os transmito para alimentar um programa python, por exemplo bzcat data.bz2 | parallel --no-notice -j16 --pipe python parse.py > result.txt O parse....
28.05.2014 / 16:42
2
respostas

Execute o comando e, em seguida, paralelize outros comandos após a conclusão

Estou procurando um único comando in-line para executar /bin/first e, quando ele for concluído, execute o seguinte /bin/p1 , /bin/p2 , /bin/p3 em paralelo depois.     
17.09.2017 / 07:00
2
respostas

Analise o sistema de arquivos completo em paralelo com o clamscan

Eu executo uma varredura clamav semanalmente nos meus servidores. Há um servidor com um cluster raid6 de 30TB de espaço em disco onde a varredura leva mais de 24h para ser executada. Então, pergunto-me como posso executar o clamscan em todo...
01.08.2018 / 09:42
3
respostas

O GNU paralelo não utiliza plenamente meus processadores

Estou executando um comando como este no meu 36 servidor principal (EC2 c4.8xlarge / Amazon Linux). find . -type f | parallel -j 36 mycommand O número de arquivos a processar é de aproximadamente 1.000.000 e leva dezenas de minutos. De...
31.05.2016 / 07:06
1
resposta

Execute script com argumentos diferentes em instâncias do AWS

Eu tenho um script que aceita vários argumentos e preciso executar esse script em várias instâncias em paralelo na AWS. Por exemplo, para simplificar, se eu tiver três instâncias na AWS, gostaria de executar o seguinte: On instance-a: script....
12.12.2017 / 08:06
1
resposta

nós de sshlogin multpile paralelos GNU por trás do NAT

É possível ter vários nós remotos atrás de um NAT com o GNU paralelo? Suponha que alguns dos clusters paralelos GNU existam atrás de um NAT (que pode ou não ser acessível somente através de um único endereço IPv4 através de um ISP operando so...
28.09.2015 / 01:15