Perguntas sobre 'gnu-parallel'

Tags
3
respostas

processa arquivos em um diretório como eles aparecem [duplicados]

Eu estou tentando escrever um processo etl simples que procuraria por arquivos em um diretório a cada minuto e, em caso afirmativo, carregá-los em um sistema remoto (através de um script) e, em seguida, excluí-los. Coisas que complicam is...
29.02.2012 / 05:20
2
respostas

Parâmetro de configurações MaxStartups e MaxSessions para conexões ssh?

Estou copiando os arquivos de machineB e machineC para machineA enquanto estou executando meu script de shell abaixo em machineA . Se os arquivos não estiverem em machineB , eles devem estar em machineC , então tentarei copiar...
12.06.2014 / 02:43
2
respostas

Paralelo GNU: exibe imediatamente o trabalho stderr / stdout um por vez por ordem de serviço

Eu sei que os buffers GNU Parallel std / stderr porque ele não quer que a saída de jobs seja desconfigurada, mas se eu executar meus jobs com parallel do_something ::: task_1 task_2 task_3 , existe de qualquer maneira a saída da task_1 ser exi...
21.04.2016 / 05:36
1
resposta

Ferramenta multi-máquina no espírito de 'paralelo' moreutils?

parallel de moreutils é uma ótima ferramenta para, entre outras coisas, distribuir m tarefas independentes uniformemente sobre n CPUs. Alguém sabe de uma ferramenta que realiza a mesma coisa para várias máquinas? É claro que tal ferra...
28.02.2012 / 15:46
2
respostas

Compute md5sum para cada linha em um arquivo

Dado um arquivo como: a b c Como obtenho uma saída como: a 0cc175b9c0f1b6a831c399e269772661 b 92eb5ffee6ae2fec3ad71c777531578f c 4a8a08f09d37b73795649038408b5f33 de uma maneira eficiente? (Entrada é de 80 GB)    ...
16.01.2018 / 17:11
3
respostas

Executando o script de shell local em vários servidores remotos em paralelo e obtém o status

Eu preciso executar um script local em servidores remotos. Executar script para rodar em paralelo é importante. [ec2-user@ip-172-31-43-140 ~]$ cat hosts.txt [email protected] [email protected]...
21.07.2018 / 06:48
2
respostas

Como copiar arquivos do datacenter local para o datacenter local e ter alguns casos de failover?

Eu tenho um script que sabe em qual HOSTNAME ele estará rodando, pois ele tem a variável HOSTNAME que informa sobre isso e está sendo passada de fora. Eu quero verificar qual datacenter que HOSTNAME é e com base nisso, vou copiar os arq...
01.04.2015 / 23:31
2
respostas

GNU paralelo - dois parâmetros da matriz como parâmetro

Eu tenho um script que usa o gnu paralelo. Eu quero passar dois parâmetros para cada "iteração" na execução serial eu tenho algo como: for (( i=0; i<=10; i++ )) do a = tmp1[$i] b = tmp2[$i] done E eu quero fazer este paralelo co...
30.09.2017 / 14:59
2
respostas

BASH: execução paralela

Eu tenho um script bash que recebe como entrada três matrizes com comprimento igual: METHODS , INFILES e OUTFILES . Este script permitirá que METHODS[i] resolva o problema INFILES[i] e salve o resultado em OUTFILES[i] , para to...
08.02.2017 / 00:51
1
resposta

Declaração de variáveis em paralelo sh-c…

Estou tentando processar a saída de find com parallel , que por sua vez invoca uma casca (algumas substituições textuais são necessárias). Eu observei um comportamento estranho, que não posso explicar para mim mesmo. Em cada diretório há...
07.08.2013 / 19:24