Entrada de passagem de bash

Question

Estou usando uma ferramenta de software livre para mesclar arquivos com intervalos genômicos (recurso semelhante à função de linguagem R 'merge'). O software pode levar apenas dois arquivos de entrada de cada vez. Suponha que se eu tiver que mesclar mais de dois arquivos, sou forçado a fazer isso.

mytempdata = join  mydata1 + mydata2
mytempdata = join  mytempdata + mydata3
.
.
.
mytempdata = join  mytempdata + mydata(n)

Eu tenho um arquivo separado contendo o caminho para os arquivos a serem mesclados (todos em pastas diferentes). Como escrevo isto de tal maneira que quando eu executo o comando, a saída do comando é novamente alimentada como entrada.

    

Answer 1

Acho que você está procurando uma solução iterativa simples como esta:

#!/bin/sh
( tmpfile=/tmp/result
  read firstfilename
  cat "$firstfilename" >$tmpfile.in
  while read filename
  do cgatools join \
          --beta \
          --input $tmpfile.in "$filename" \
          --match <specification> \
          --overlap <overlap_spec> \
          --select <output_fields> \
          --always-dump \
          --output-mode compact  >$tmpfile.out
     mv $tmpfile.out $tmpfile.in
  done
) < file_of_filenames
echo "result is in $tmpfile.in"

Isto lê linhas (ou seja, nomes de arquivos) um por um do seu file_of_filenames e executa cgatools usando esse nome de arquivo e a saída anterior, gerando um novo arquivo de saída $tmpfile.out . Este arquivo de saída é renomeado para ser o arquivo de entrada $tmpfile.in e o loop continua.

Para lidar com o início, a primeira linha do nome do arquivo é lida separadamente (na variável firstfilename ), e esse arquivo é copiado no arquivo de entrada para que temos 2 arquivos para participar. Já que todos os comandos estão dentro de "()" isto garante que a leitura dentro do loop while continue onde a primeira leitura parou.

    

Answer 2

Supondo que o seu arquivo contém um único arquivo por linha, você pode fazer isso de maneira feia:

tool="cgatools join --beta --match <specification> --overlap <overlap_spec> --select <output_fields> --always-dump --output-mode compact --input"

{
    read -r filename
    cmd="cat \"$filename\""
    while read -r filename; do
        cmd+=" | $tool \"$filename\""
    done
} < file_of_filenames

cmd+=" > output_file"

echo "$cmd"
eval "$cmd"

A documentação diz que se apenas um arquivo de entrada é fornecido, o outro arquivo é lido de stdin, e se a opção --output não for dada, o stdout será usado.

não testado, mas isso pode funcionar também (bash)

# declare the cgatools command with options
# stored in a shell array.
cga_join=( 
    cgatools join --beta 
                  --match "specification"
                  --overlap "overlap_spec" 
                  --select "output_fields"
                  --always-dump 
                  --output-mode compact 
)

# the entry point to the join process
# shift the first argument off the list of arguments, and
# pipe its contents into the recursive call
call_join() {
    local first=$1
    shift
    cat "$first" | call_join_recursively "$@"
}

# recursively call "cgatools join"
# input will be read from stdin; output goes to stdout
# if this is the last filename to join, pipe the output through "cat"
# otherwise pipe it into another call to this function, passing the 
# remaining filenames to join.
call_join_recursively() {
    local file=$1
    shift
    local next_command=(cat)
    if [[ $# -gt 0 ]]; then
        next_command=( "$FUNCNAME" "$@" )
    fi
    "${cga_join[@]}" --input "$file" | "${next_command[@]}"
}

# read the list of filenames to join.
# stored in the "filenames" array 
mapfile -t filenames < file_of_filenames

# launch the joining, passing the filenames as individual arguments.
# store the output into a file.
call_join "${filenames[@]}" > output_file