Perguntas sobre 'gnu-parallel'

Tags
0
respostas

Wireless não funciona no Linux trabalhando com todos os núcleos [closed]

Estou fazendo uma equipe volumosa no meu computador, às vezes leva 20 horas ou mais com todos os núcleos. Após 6-8 horas, o wireless não está funcionando. Mas continua trabalhando depois de terminar o trabalho e reiniciar o computador. Às vezes,...
20.08.2017 / 13:28
1
resposta

GNU Paralelo para processar múltiplos arquivos em paralelo no Unix com o bash

Eu tenho um script bash que estou usando para percorrer uma lista de arquivos e pesquisar por correspondências regex. Aqui está um trecho do meu código atual: for file in $Files_To_Parse; do (cat $file) | grep -ioE "($Keys$Delimiters$Pay...
06.07.2017 / 01:50
0
respostas

Por que não posso canalizar em paralelo?

Eu tenho tentado canalizar esse comando tail -n +$line $FILENAME para este comando parallel -a $FILENAME -k --block $sub --pipe-part "cut -d ' ' -f1" | sponge $FILENAME E o comando resultante é o seguinte: tail -n +$line $F...
19.05.2017 / 20:35
1
resposta

Erro de rede com vários contêineres do Docker sendo executados em paralelo

Eu tenho um número de arquivos python contendo testes de unidade no diretório /code/test Em um esforço para paralelizar meu teste sem qualquer edição de código, imaginei que poderia usar o GNU Parallel para executar N arquivos de uma vez c...
14.02.2017 / 20:04
1
resposta

Dois comandos paralelos GNU executados na mesma máquina

Estou usando o GNU Parallel para iniciar automaticamente um grande número de jobs e distribuí-los nos núcleos de uma máquina. Um trabalho por núcleo. parallel python3 program.py ::: inputs1* Quando um conjunto de trabalhos está prestes a...
28.01.2017 / 16:02
1
resposta

gnu multithreading pipe paralelo usa pouca CPU% mas bloqueia o servidor

Eu uso o gnu parallel para executar um pipe em vários arquivos em paralelo. Meu código faz o que deveria, no entanto, se especificar o valor máximo número de CPU (no meu caso 64) cada trabalho usa < 5% de cada CPU (com base em htop ). Al...
28.09.2016 / 15:21
1
resposta

Paralela para filtro de longa duração

Eu estou raspando números de telefone de uma determinada lista de páginas da web e implementei redução de mapa como: PARALLEL_OPTS="..." SCRIPT="curl --silent --cookie '$COOKIES' {} | egrep -o '[2-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-...
18.08.2016 / 16:40
1
resposta

csh array / substituição de comando com gnu parallel

Primeiro de tudo, sim, bloqueado em csh em uma caixa do Solaris, não posso fazer nada sobre isso, desculpe. Eu tenho um lote de relatórios em execução usando um loop foreach. No momento, ele é executado como um único encadeamento e eu gostari...
03.08.2015 / 18:57
2
respostas

GNU Parallel para uma iteração while loop, aninhada

Eu tenho um pedaço de código que leva 30 horas em um supercomputador; o administrador diz que pode usar apenas um núcleo de cada vez. Ele executa uma parte do código de geração de imagens por meio de uma matriz de 60 por 60, com cada iteração (3...
21.12.2017 / 21:39
2
respostas

Como copiar arquivos de outros servidores se a máquina local estiver inativa

Eu tenho um script que será executado em cada servidor e copia determinados arquivos para ele. O script sabe onde estou executando e quais arquivos eu preciso copiar. O script copia os arquivos do datacenter local local_dc , mas se estiver...
02.04.2015 / 19:53