concatenando vários arquivos com vários cabeçalhos

Question

Estou tentando concatenar vários arquivos com vários cabeçalhos para ter um arquivo com todas as informações nele, por exemplo.

Arquivo 1:

Numbers
1
2
3

Letters
A
B
C

Arquivo 2:

Numbers
4
5
6

Letters
D
E
F

Será mesclado para criar o Arquivo 3:

Numbers
1
2
3
4
5
6

Letters
A
B
C
D
E
F

Até agora eu tentei cat e tinha file2 adicionado ao final, em seguida, tentei grep todos os dados em cada cabeçalho, mas curta a história longa, ele falhou.

Eu tentei colar e se a quantidade de dados em cada arquivo é a mesma, então não é tão ruim, pois tem informações de cada arquivo com guias ao lado do último, mas criará o caos se algum arquivo tiver mais entradas do que outro sob um cabeçalho.

Alguém tem alguma idéia de como resolver esse tipo de problema?

    

Answer 1

Assumindo '====' sob as palavras-chave da seção, o seguinte Python resolveria o problema sem precisar ser explícito nos nomes das seções:

import sys
from collections import OrderedDict

combined = OrderedDict()
seperator = '===='

for file_name in 'f1.txt f2.txt'.split(): #sys.argv[1:]:
    with open(file_name) as fp:
        lines = fp.readlines()
        data = []
        while len(lines):
            # reverse over the lines
            line = lines.pop(-1)
            if not line.strip(): continue # skip empty
            if line.startswith(seperator):
                name = lines.pop(-1)
                section = combined.setdefault(name, [])
                section.extend(reversed(data))
                data = []
            else:
                data.append(line)

for idx, k in enumerate(reversed(combined)):
    if idx != 0:
        print # insert empty line before all but first
    sys.stdout.write(k)
    print('=' * len(k))
    for line in combined[k]:
        sys.stdout.write(line)

Você precisa fornecer os nomes dos arquivos na invocação da linha de comando.

Isso gera a saída:

Numbers
========
1
2
3
4
5
6

Letters
========
A
B
C
D
E
F

    

Answer 2

Aqui está uma maneira de fazer isso com um script Perl:

#!/usr/bin/perl

my @fileInfo;
open(my $fh, "<file1");
push (@fileInfo,<$fh>);
close($fh);
open(my $fh, "<file2");
push (@fileInfo,<$fh>);
close($fh);

my @letLines;
my @numLines;
my $numMode  = 0;
my $letMode  = 0;

foreach my $line (@fileInfo) {

    # skip empty and '==' lines
    next if ($line =~ /^$/);
    next if ($line =~ /==/);

    if ($line =~ /Letters/) {
        $letMode = 1;
        $numMode = 0;
        next;
    }

    if ($line =~ /Numbers/) {
        $numMode = 1;
        $letMode = 0;
        next;
    }

    if ($letMode) {
        push (@letLines, $line);
        next;
    }

    if ($numMode) {
        push (@numLines, $line);
        next;
    }
}

print "Numbers\n";
print "=======\n";
print @numLines;

print "\n";

print "Letters\n";
print "=======\n";
print @letLines;

# vim: set ts=2 nolist :

saída

Numbers
=======
1
2
3
4
5
6

Letters
=======
A
B
C
D
E
F

    

Answer 3

Um numbersletters.sh para a entrada que você forneceu:

#!/bin/bash

echo Numbers

for f in "$@"
do
   grep -E '^[0-9]+$' "$f" 
done

echo
echo Letters

for f in "$@"
do
    grep -E '^[A-Z]+$' "$f"
done

echo

numbersletters.sh file1 file2 retorna

Numbers
1
2
3
4
5
6

Letters
A
B
C
D
E
F

Você pode adicionar | sort -u para os loops for para torná-lo classificado e exclusivo.

    

Answer 4

Aqui está uma solução Perl simples que funcionará para nomes de cabeçalhos arbitrários:

#!/usr/bin/env perl 
my ($last,$head); 
my %k;  ## this will hold our data
my $separator="=====";
my @lines=<>; ## Read all lines
for(my $i=0; $i<=$#lines; $i++){ ## for each line...
    next if $lines[$i]=~/$separator/; ##skip the separators
    next if $lines[$i]=~/^\s*$/;  ##skip empty lines
    if ($lines[$i+1]=~/====/) { ## if the NEXT line is a separator, 
    $head=$lines[$i];       ## the this line is a heading
    next;
    }
    else { ## save the contents of this group into the %k hash.
    push @{$k{$head}},$lines[$i];
    }
}

## Now print everything
foreach (keys(%k)) {
    print "$_========\n", @{$k{$_}};
}