Média de todas as linhas de múltiplas colunas com a mesma primeira coluna

Question

Esta é uma pergunta de extensão da postagem Média de linhas com a mesma primeira coluna

Arquivo de entrada:

a   12  13  14
b   15  16  17
a   21  22  23
b   24  25  26

Saída desejada:

a   16.5  17.5  18.5
b   19.5  20.5  21.5

O código awk nesse post é:

awk '
    NR>1{
        arr[$1]   += $2
        count[$1] += 1
    }
    END{
        for (a in arr) {
            print a "\t" arr[a] / count[a]
        }
    }
'

Pergunta: Este código só funciona na primeira linha. Como faço para expandir esse código para várias colunas?

    

Answer 1

Usando awk , você pode simular um array 2D construindo um índice composto a partir da chave (primeiro valor da coluna) e do índice da coluna:

awk '
  {
  c[$1]++; 
  for (i=2;i<=NF;i++) {
    s[$1"."i]+=$i};
  } 
  END {
    for (k in c) {
      printf "%s\t", k; 
      for(i=2;i<NF;i++) printf "%.1f\t", s[k"."i]/c[k]; 
      printf "%.1f\n", s[k"."NF]/c[k];
    }
  }' file
  a       16.5    17.5    18.5
  b       19.5    20.5    21.5

Uma abordagem semelhante pode ser implementada em perl mais diretamente usando um hash de matrizes.

Como alternativa, há o GNU datamash que (pelo menos da versão 1.1.0) suporta médias de grupo muito compactamente, por exemplo,

datamash --sort --whitespace groupby 1 mean 2-4 < file
a       16.5    17.5    18.5
b       19.5    20.5    21.5

FWIW aqui está minha tentativa de uma solução perl, incluindo a normalização para a média global máxima, conforme solicitado nos comentários. EXCLUSÃO DE RESPONSABILIDADE: Sou um programador novato em perl, por isso, pode demonstrar práticas de programação deficientes .

#!/usr/bin/perl

use strict;
use warnings;

use List::MoreUtils qw(pairwise minmax);
use Math::Round qw(nearest);

my @hdr;
my %sums = ();
my %count = ();
my $key;

while (defined($_ = <ARGV>)) {
  chomp $_;
  my @F = split(' ', $_, 0);

  # UGLY: hardcoded to expect exactly 1 header row
  if ($. == 1) {
    @hdr = @F;
    next;
  }

  # sum column-wise, grouped by first column
  $key = shift @F;
  if ( exists $sums{$key} ) {
    $sums{$key} = [ pairwise { $a + $b } @{ $sums{$key} }, @F];
  }
  else {
    $sums{$key} = \@F;
  }

  $count{$key}++;
}


my %avgs = ();
# NB should really initialize $maxavg to a suitably large NEGATIVE value
my $maxavg = 0.0;

# find the column averages, and the global max of those averages
for $key ( keys %sums ) {
  $avgs{$key} = [ map { $_ / $count{$key} } @{ $sums{$key} } ];
  # NB could use List::Util=max here, but we're alresdy using List::MoreUtils
  my ($kmin, $kmax) = minmax @{ $avgs{$key} };
  $maxavg = $kmax > $maxavg ? $kmax : $maxavg;
}

# normalize and print the results, rounded to nearest 0.01
print join "\t", @hdr, "\n";
for $key ( sort keys %avgs ) {
  print join "\t", $key, (map { nearest (0.01, $_ / $maxavg) } @{ $avgs{$key} }), "\n";
}

Salvo como colavgnorm.pl e tornado executável, execute como

$ ./colavgnorm.pl file
K       C1      C2      C3
a       0.77    0.81    0.86
b       0.91    0.95    1

em que file é

K   C1  C2  C3
a   12  13  14
b   15  16  17
a   21  22  23
b   24  25  26