Como juntar arquivos de texto baseados em uma coluna e remover a primeira linha no linux?

Question

Eu tenho vários arquivos de texto, como abaixo:

arquivo1.txt:

# Program:featureCounts v1.6.0; Command:"featureCounts" "-a" "/documents/gencode_Release27_GRCh38.p10_PRI/gencode.v27.primary_assembly.annotation_nochr.gtf" "-F" "GTF" "-p" "-s" "2" "-T" "8" "-o" "/read_counts/S100A.txt" "/documents/S100A.sorted.bam" 
Geneid  Chr     Start   End     Strand  Length  /path/to/documents/S100A.sorted.bam
ENSG00000223972.5       1;1;1;1;1;1;1;1;1       11869;12010;12179;12613;12613;12975;13221;13221;13453   12227;12057;12227;12721;12697;13052;13374;14409;13670   +;+;+;+;+;+;+;+;+       1735    0
ENSG00000227232.5       1;1;1;1;1;1;1;1;1;1;1   14404;15005;15796;16607;16858;17233;17606;17915;18268;24738;29534       14501;15038;15947;16765;17055;17368;17742;18061;18366;24891;29570       -;-;-;-;-;-;-;-;-;-;-   1351    0
ENSG00000278267.1       1       17369   17436   -       68      0
ENSG00000243485.5       1;1;1;1;1       29554;30267;30564;30976;30976   30039;30667;30667;31109;31097   +;+;+;+;+       1021    0
ENSG00000284332.1       1       30366   30503   +       138     0
ENSG00000237613.2       1;1;1;1;1       34554;35245;35277;35721;35721   35174;35481;35481;36073;36081   -;-;-;-;-       1219    0

arquivo2.txt:

# Program:featureCounts v1.6.0; Command:"featureCounts" "-a" "/documents/gencode_Release27_GRCh38.p10_PRI/gencode.v27.primary_assembly.annotation_nochr.gtf" "-F" "GTF" "-p" "-s" "2" "-T" "8" "-o" "/read_counts/S106.txt" "/documents/S106.sorted.bam" 
Geneid  Chr     Start   End     Strand  Length  /path/to/documents/S106.sorted.bam
ENSG00000223972.5       1;1;1;1;1;1;1;1;1       11869;12010;12179;12613;12613;12975;13221;13221;13453   12227;12057;12227;12721;12697;13052;13374;14409;13670   +;+;+;+;+;+;+;+;+       1735    0
ENSG00000227232.5       1;1;1;1;1;1;1;1;1;1;1   14404;15005;15796;16607;16858;17233;17606;17915;18268;24738;29534       14501;15038;15947;16765;17055;17368;17742;18061;18366;24891;29570       -;-;-;-;-;-;-;-;-;-;-   1351    42
ENSG00000278267.1       1       17369   17436   -       68      12
ENSG00000243485.5       1;1;1;1;1       29554;30267;30564;30976;30976   30039;30667;30667;31109;31097   +;+;+;+;+       1021    0
ENSG00000284332.1       1       30366   30503   +       138     0
ENSG00000237613.2       1;1;1;1;1       34554;35245;35277;35721;35721   35174;35481;35481;36073;36081   -;-;-;-;-       1219    1

Como acima, tenho mais de 100 arquivos de texto. Eu quero combiná-los em um único arquivo de texto, que deve se parecer abaixo.

A saída deve se parecer com:

Geneid            S100A   S106
ENSG00000223972.5   0       0
ENSG00000227232.5   0      42
ENSG00000278267.1   0      12
ENSG00000243485.5   0       0
ENSG00000284332.1   0       0
ENSG00000237613.2   0       1

Para remover a primeira linha do arquivo de texto, usei este tail -n +2 S100A.txt . Mas eu tenho que fazer isso em todos os arquivos individualmente. Como obter a saída desejada com um código no linux.

    

Answer 1

Awk solução:

awk 'BEGIN{ head = "Geneid" }
     FNR == 2{ 
         gsub(/^.+documents\/|\.sorted\.bam$/, "", $NF);
         head = head "\t" $NF 
     }
     FNR > 2{ 
         genes[$1] = genes[$1] "\t" $NF;
         order[FNR-2] = $1
     }
     END{ 
         print head; 
         for (i = 1; i <= FNR-2; i++) print order[i] genes[order[i]]
     }' file*.txt

• FNR - número de registro sendo lido
• $NF - o último valor do campo ( NF aponta para o número total de campos)
• genes - array contendo a sequência acumulada dos últimos valores de campo por gene id; a matriz é indexada por gene ids
• order - matriz auxiliar indexada com números de registro para manter a ordem inicial de genes ids