Como processar esses logs DHCP para serem legíveis por humanos?

Question

Eu tenho esta entrada:

Sep 23 13:43 192.168.6.200
Sep 23 13:44 192.168.6.166
Sep 23 13:45 192.168.6.200
Sep 23 13:46 192.168.6.166
Sep 23 13:47 192.168.6.200
Sep 23 13:48 192.168.6.166
Sep 23 13:49 192.168.6.176
Sep 23 13:49 192.168.6.200
Sep 23 13:50 192.168.6.166
Sep 23 13:51 192.168.6.176
Sep 23 13:51 192.168.6.200
Sep 23 13:52 192.168.6.166
Sep 23 13:54 192.168.6.166
Sep 23 13:54 192.168.6.176
Sep 23 13:56 192.168.6.176
Sep 23 13:57 192.168.6.166

Eu preciso dessa saída:

Sep 23 13:43 192.168.6.200
Sep 23 13:51 192.168.6.200

Sep 23 13:44 192.168.6.166
Sep 23 13:57 192.168.6.166

Sep 23 13:49 192.168.6.176
Sep 23 13:56 192.168.6.176

Então eu tenho logs DHCP de um roteador OpenWrt que eu gero com (configurei o servidor dhcp para dhcp lease para "5m"):

logread | fgrep DHCPACK | awk '{print $1" "$2" "$3" "$8}' | sed 's/:[0-9][0-9] / /g' | sort -u

Mas eu preciso que a entrada mencionada seja a saída mencionada, como? existem mestres de perl? : \: D

    

Answer 1

Hack rápido:

for ip in $(cut -d" " -f 4 < INPUT_FILE.txt | sort -u); do 
   grep "$ip" INPUT_FILE.txt | head -n1
   grep "$ip" INPUT_FILE.txt | tail -n1
   echo
done

No entanto, isso não é muito rápido, porque ele percorre o arquivo de log 3 vezes. E a saída não está na mesma ordem que o seu exemplo; Não tenho certeza se isso é importante para você.

    

Answer 2

Note que o awk é ( principalmente ) um superconjunto de fgrep e sed, então você não deveria precisar chamar todos os três.

logread | awk '
  /DHCPACK/ {
    sub(/:..$/,"",$3)
    t = $1 " " $2 " " $3
    if (!($8 in first)) first[$8] = t
    last[$8] = t
  }
  END {
    for (i in first) {
      print first[i], i
      print last[i], i
      print ""
    }
  }'

Embora não apareçam em nenhuma ordem específica. Se você quiser que eles apareçam na ordem em que o endereço IP aparece pela primeira vez no log, você pode alterá-lo para:

logread | awk '
  /DHCPACK/ {
    sub(/:..$/,"",$3)
    t = $1 " " $2 " " $3
    if (!($8 in first)) {
      first[$8] = t
      ip[n++] = $8
    }
    last[$8] = t
  }
  END {
    for (i = 0; i < n; i++) {
      print first[ip[i]], i
      print last[ip[i]], i
      print ""
    }
  }'

    

Answer 3

versão perl, com comentários.

#! /usr/bin/perl 

use strict;

use Date::Parse;
use Date::Format;

my $format = '%b %d %R';

my %IP=();

# read the input file, convert date/time to a time_t timestamp,
# and store it into a hash of arrays (HoA) 'man perldsc' for details
while(<>) {
    chomp;
    my($month, $day, $time, $ip) = split ;
    my $time_t = str2time("$month $day $time");
    push @{ $IP{$ip} }, $time_t;
};

# NOTE: hashes are inherently unsorted. replace "keys %IP" below
# with an IP sort function if you need the IPs sorted - e.g.
# http://www.perlmonks.org/?node_id=37889

# print the first and last time stamp seen, converting
# back to the same time format as the input.
foreach my $key (keys %IP) {
    # sort the array held in $IP{$key} just in case the input
    # lines are out of order
    sort @{ $IP{$key} } ;

    my $first = $IP{$key}[0];
    my $last = $IP{$key}[scalar @{ $IP{$key} }-1];

    # print the first and last time seen
    # note: if an IP was seen only once, first and last will be the same.
    # easy enough to add an if or unless here if you want to exclude 
    # IPs where first == last.
    print time2str($format,$first) . " $key\n";
    print time2str($format,$last) . " $key\n\n";
}

se você quiser enviar o log original para este em vez do log após ser canalizado para grep, awk e sed, faça as seguintes alterações.

1. imediatamente após o while(<>) { , adicione next unless /DHCPACK/;

2. altere a linha com split para:

   my ($month,$day,$year,undef,undef,undef,undef,$IP) = split;
   

Answer 4

Assumindo que Craig esteja certo e que sua entrada seja ordenada cronologicamente, este script awk idiomático pode ser usado:

parse.awk

!start[$4]  { start[$4] = $1" "$2" "$3 } 
            { end[$4]   = $1" "$2" "$3 } 
END { 
  for (ip in start) 
    print start[ip], ip, "\n" end[ip], ip, "\n"
}

Funcione assim:

logread | awk -f parse.awk

Saída:

Sep 23 13:43 192.168.6.200 
Sep 23 13:51 192.168.6.200 

Sep 23 13:44 192.168.6.166 
Sep 23 13:57 192.168.6.166 

Sep 23 13:49 192.168.6.176 
Sep 23 13:56 192.168.6.176