Estou tentando dividir um número enorme de arquivos gz em blocos compactados com gzip de N-line.
Para demonstrar, vamos considerar o seguinte:
seq 100 | gzip > big_file0.gz
Eu posso dividir isso em vários arquivos compactados de 10...
Estou executando um comando em paralelo usando o Gnu Parallel, que tem dois parâmetros como entrada, um diretório e um arquivo conf:
parallel --gnu my_command ::: (ls -d dir*test) ::: properties.conf
Eu o executo em cima de uma CPU multi-...
Estou super confuso sobre como usar o GNU paralelo para passar o stdin para o comando de trabalho.
Tenho o que imaginei ser um caso de uso comum realmente . Eu tenho algum processo xxd que faz algo com stdin e saídas para stdout. Eu tenho...
Meu entendimento é que a opção -X deve distribuir os argumentos uniformemente entre os trabalhos. No entanto, recebo uma distribuição muito distorcida:
user@host:/tmp/ptest$ count() {
> echo $#
> }
user@host:/tmp/ptest$ export -f coun...
O Gnu paralelo é uma ferramenta poderosa que eu uso para executar muitos comandos BASH independentes como um único conjunto em paralelo. Eu gostaria de poder executar os mesmos comandos SEQUENCIAMENTE sem alterações significativas no comando que...
Estou usando o Ansible para configurar algumas configurações em vários nós e, como parte dessa configuração, preciso dividir um arquivo grande por linhas n e copiar cada parte em um arquivo remoto sem criar cópia local de cada pedaço (como o c...
Estou tentando processar a entrada de diferentes maneiras em paralelo, escrevendo as linhas resultantes conforme elas entram. Minha abordagem atual é esta:
# process_parallel.sh
read input
parallel --colsep ' ' --linebuffer 'echo $input | {}'...
De acordo com a lista de discussão GNU Parallel, este não é um problema específico do GNU Parallel. Eles sugeriram que eu publicasse meu problema aqui.
O erro que estou recebendo é um erro de "canal quebrado", mas acho que primeiro devo expli...
Atualmente, estou testando o gnu paralelamente para distribuir um comando de comparação entre vários servidores usando o bash. Em sua função mais básica, esse comando de comparação usa duas entradas para comparar (acessos ao banco de dados oracl...