regex private ips e remove do logfile

Question

Eu tenho um grande arquivo de log AWS ELB do qual eu quero remover o ip privado, por exemplo:

2018-06-03T23:59:57.000Z 66.249.66.129,10.0.1.81 [03/Jun/2018:23:59:57 +0000] "GET http://www.domain0.com/latest-news/dubai-duty-free-sales-rise-11-q1-12-04-2018/ HTTP/1.1" 200 16669 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
2018-06-03T23:59:58.000Z 82.113.167.2,10.0.1.132 [03/Jun/2018:23:59:58 +0000] "GET http://www.domain3.com/feed HTTP/1.1" 200 17144 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.95 Safari/537.11"
2018-06-03T23:59:58.000Z 192.243.55.95,10.0.1.81 [03/Jun/2018:23:59:58 +0000] "GET http://www.domain1.com/feed/ HTTP/1.1" 200 18532 "https://www.domain1.com/feed" "Mozilla/5.0 (compatible; SemrushBot/1.0~bm; +http://www.semrush.com/bot.html)"
2018-06-03T23:59:58.000Z 207.46.13.236,10.0.1.81 [03/Jun/2018:23:59:58 +0000] "GET http://www.domain.com/blogs/gadget-master/general/brightsparks-trophies-make-mark-2017-05/https/blogs/distribution-world/page/9/ HTTP/1.1" 200 16339 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
2018-06-03T23:59:59.000Z 62.210.215.100,10.0.1.81 [03/Jun/2018:23:59:59 +0000] "GET http://www.domain.com/electro-ramblings/tag/blog/feed/ HTTP/1.1" 200 1664 "-" "Mozilla/5.0 (X11; Linux i686) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.66 Safari/537.36"', "\n")

me pega o regex

mas quando eu executo

cat logs.txt | sed '/T/s/T/:/1' | sed -E 's/,10.0/ /g'

mas isso só retorna

2018-06-03:23:59:57.000Z 66.249.66.129 .1.81 
...

como faço para remover o ip privado com o , do arquivo usando regex no sed?

qualquer conselho é muito apreciado

    

Answer 1

Como o requisito era remover apenas IPs "privados" (10 ...), o regex dado por ender.qa poderia ser refinado para

sed -E '/T/s/T/:/1; s/,10\.([0-9]{1,3}.){2}[0-9]{1,3}//g' file

ou, como esse IP não contém espaços, ainda mais curto:

sed -E '/T/s/T/:/1; s/,10\.[^ ]*//g' file

    

Answer 2

Parece que você quer seus "dados antes":

2018-06-03T23:59:57.000Z 66.249.66.129,10.0.1.81 [03/Jun/2018:23:59:57 +0000] ...

para ser 'data after':

2018-06-03:23:59:57.000Z 66.249.66.129 [03/Jun/2018:23:59:57 +0000] ...

Isso está correto?

Se sim:

cat logs.txt | sed '/T/s/T/:/1' | sed -e 's/,.*\[//g'

Além disso, você não precisa do cat :

sed '/T/s/T/:/1' logs.txt | sed -e 's/,.*\[/ \[/g'

Basicamente, você está removendo quaisquer caracteres (. *) entre a vírgula (,) e o colchete esquerdo ([), que precisa ser escapado.

Se você quiser apenas remover o endereço IP

sed '/T/s/T/:/1' logs.txt | sed -re 's/,([0-9]{1,3}\.){3}[0-9]{1,3}//g'

OR

sed '/T/s/T/:/1' logs.txt | sed -e 's/,\([0-9]\{1,3\}\.\)\{3\}[0-9]\{1,3\}//g'

Referência: link

    

Answer 3

Não bem o que você pediu, mas isso mostra como usar grepcidr filtrar (remover) linhas contendo endereços IP no intervalo de endereços privados 10.0.0.0-10.255.255.255 no arquivo file :

grepcidr -v '10.0.0.0-10.255.255.255' file

A mesma coisa, mas usando a sintaxe de bloco de rede CIDR:

grepcidr -v '10.0.0.0/8' file