Perguntas sobre 'parallelism'

1
resposta

ssh servidor múltiplo para operação tar [duplicado]

Eu tenho um arquivo contendo o endereço IP de 10 servidores. por exemplo, host.txt Eu quero tar um diretório e 10 servidores diferentes de 1 servidor. Como posso executar ssh paralelamente a esse servidor, o que pode reduzir meu tempo...
06.09.2017 / 13:49
1
resposta

executa o mesmo script para vários arquivos, os scripts requerem 2 arquivos de entrada

Eu tenho uma pasta contendo 500 arquivos genotype, assim: xaa.txt xab.txt xac.txt xad.txt Eu quero executar um script para cada arquivo de genótipo separadamente no mesmo arquivo; Eu sei que esta pergunta foi respondida antes, MAS, meu sc...
18.07.2017 / 19:49
1
resposta

Executando o shell script no cluster em paralelo

Eu achei que dsh (Shell distribuído) seria uma boa opção, mas quando executei meu shell script em meus nós, não obtive minha saída esperada, dsh -aM -c bash /home/cloudera/bash_script.sh [email protected]: files in folder [email protected]:...
29.08.2014 / 13:17
0
respostas

Assista a vários comandos bash com saída dinâmica

Estou fazendo vários downloads ao mesmo tempo com wget , como este: while IFS= read _addr; do coproc wget "http://<host>/<subdir>/$_addr" done < <(cat filelist.txt) O comando coproc puts wget para o plano de fu...
13.09.2018 / 23:13
0
respostas

100% de uso da CPU de um processo no htop, depois lotes (nthreads) de pequenos processos usando% da CPU no valor do processo principal

EstouexecutandoumfluxodetensãonoRStudio.EleémultithreadeddealgumaformaqueeunãoprogrameiatravésdeumdospacotesdebifurcaçãodoRcomoforeach,entãoeurealmentenãoentendocomoelefunciona.Oprocessoprincipalestáusandocercade320%daCPU(euachoquesignificaquee...
12.09.2018 / 23:55
1
resposta

Como otimizar o Aria2 ao baixar milhares de arquivos pequenos?

Meu ponto de partida é esta pergunta . Agora o aria2 está baixando os arquivos, mas não é tão rápido quanto eu esperava (estou executando isso em um Macbook Pro com um i7, conexão gigabit e AC-wifi. Eu definitivamente não estou maximizando nenh...
26.07.2018 / 10:57
0
respostas

Simple multithreaded diffing on macOS

Eu corro diff -rq em diretórios de tamanho de terabyte no macOS. Existe uma maneira simples de paralelizar este processo?     
19.06.2018 / 19:22
1
resposta

usando o topo para identificar o número do núcleo da cpu com qsub pbspro

Eu tenho um servidor de memória compartilhada com o PBSpro instalado como o gerenciador de tarefas. Existem 320 núcleos no total, e o pbs é configurado para que haja 1 fila de trabalhos com 30 dos 300 núcleos físicos de 32 cpu a serem divididos...
28.03.2018 / 22:24
0
respostas

HPC Job é executado mais lentamente na submissão aleatória

Estou executando uma computação paralela usando MPI para paralelismo em um cluster que usa o IBM LSF para planejamento de job. Frustrantemente, sempre que eu submeto um trabalho, percebo que às vezes ele é executado mais lentamente por um fator...
01.09.2017 / 01:54
1
resposta

slurm: srun & sbatch desempenho diferente com as mesmas configurações

Em um sistema slurm, quando eu uso o comando srun para executar o programa. Ele é executado muito devagar e parece que apenas um processador funciona. srun --pty -A free -J test -N 1 -n 1 -c 1 mpirun -np 16 $FEAPHOME8_3/parfeap/feap -l...
18.09.2017 / 03:29