Perguntas sobre 'parallelism'

2
respostas

Como posso executar dois comandos em paralelo e terminá-los se um deles terminar com o código de saída 0?

Eu tenho 2 comandos que devem ser executados simultaneamente. E eu quero que o script termine se um deles sair com o código 0 ou 1. Como posso conseguir isso no Linux (Ubuntu) cmd1 & cmd2 & wait     
10.01.2017 / 21:33
5
respostas

Como criar uma fila limitada para tarefas de shell?

Eu tenho arquivos de 1000 gzips que eu quero classificar. Fazendo isso sequencialmente, o procedimento parece bastante simples: find . -name *.gz -exec zcat {} | sort > {}.txt \; Não tenho certeza se o código acima funciona (por fav...
06.12.2011 / 08:54
3
respostas

tarring em paralelo

Um amigo do Oceanographer no trabalho precisa fazer backup de muitos meses de dados. Ela está sobrecarregada, então eu me ofereci para fazê-lo. Existem centenas de diretórios para fazer o backup e queremos tar / bzip-los em arquivos com o mesmo...
20.07.2015 / 22:22
2
respostas

Como atribuir variáveis de ambiente em paralelo no bash

Estou tentando definir várias variáveis de ambiente com os resultados da substituição de comandos. Eu quero executar os comandos em paralelo com & e wait . O que eu tenho atualmente parece algo como export foo='somecommand bar' &...
06.04.2017 / 00:04
1
resposta

Classificar arquivos CSV grandes (90 GB), cota de disco excedida

Aqui está o que eu faço agora, sort -T /some_dir/ --parallel=4 -uo file_sort.csv -k 1,3 file_unsort.csv o arquivo tem 90GB, recebi esta mensagem de erro sort: close failed: /some_dir/sortmdWWn4: Disk quota exceeded Anteriorment...
08.03.2017 / 18:34
2
respostas

Como paralelizar dd?

Atualmente estou tendo problemas com dd chamado com um arquivo esparso como entrada ( if ) e um arquivo como saída ( of ) com conv=sparse . dd parece estar usando apenas um núcleo da CPU ( Intel(R) Core(TM) i7-3632QM CPU @ 2.20GHz...
10.10.2014 / 22:31
2
respostas

'mpirun -np N': e se 'N' for maior que meus núcleos físicos?

Digamos que eu tenha uma estação de trabalho de 4 núcleos, o que o Linux (Ubuntu) faria se eu executasse mpirun -np 9 XXX 9 correm imediatamente juntos ou serão executados 4 após 4? Eu suponho que usar 9 não seja bom, porque o resto...
30.05.2012 / 23:33
2
respostas

Executa remotamente comandos, mas ainda tem controle do host

Eu tenho algumas máquinas Linux por aí e queria criar uma rede de computadores em cluster. Haverá 1 monitor que seria para o controlador. O controlador executaria um script que executaria uma tarefa e dividiria a carga nos computadores. Digam...
06.07.2016 / 01:53
5
respostas

Remover números de nomes de arquivos

Eu tenho um problema ao modificar os nomes dos arquivos no meu diretório Music/ . Eu tenho uma lista de nomes como estes: $ ls 01 American Idiot.mp3 01 Articolo 31 - Domani Smetto.mp3 01 Bohemian rapsody.mp3 01 Eye of the Tiger.mp3 04 Ha...
29.05.2012 / 10:07
2
respostas

multicore equivalente para '| classificar | uniq -c | comando sort -n '

Gostaria de perguntar se existe um equivalente multicore fora da caixa para um '| classificar | uniq -c | ordenar -n 'comando? Sei que posso usar abaixo do procedimento split -l5000000 data.tsv '_tmp'; ls -1 _tmp* | while read FILE; do s...
29.06.2018 / 08:23