Como posso registrar meu tráfego da Internet, agrupado por endereço IP / nome do host, porta, etc?

Question

Embora eu esteja mudando para um plano um pouco mais limpo em breve, ficar preso em um limite de 5 GB de largura de banda mensal me deixou muito preocupado com os dados e estou procurando uma maneira de registrar meu uso da Internet de forma que eu possa ver quanto eu enviei, e quanto eu baixei, para cada porta em cada host / IP que eu visito; vendo "você baixou 823.64MB e carregou 92.12MB na terça-feira passada" no portal da Web do meu ISP não é especialmente perspicaz ...

Eu tenho algumas considerações extras que gostaria de levar em consideração:

• Eu gostaria que o sistema de monitoramento fosse o mais leve possível. Enquanto o software existente seria preferido, no mais extremo eu consideraria um programa simples de libpcap C caseiro, se há exemplos que eu poderia levantar e executar com menos de 150 linhas de modificações triviais.

• Como praticamente tudo o que funciona com um nome de domínio é fazer uma pesquisa de DNS para encontrar o endereço IP, um sistema que detecta a resposta de pesquisa DNS e usa isso para associar endereços IP a nomes de host. fazer uma chamada indepentente / espúria - seria bom ter.

Answer 1

• wireshark tem uma ótima comunidade por perto. Deve haver uma solução.

  Por exemplo: despejo bruto cheio de tráfego via tcpdump, como você é mencionado, não há muito - 5GB. Com 8 GB ou 16 GB de RAM, você pode ler este arquivo no PC no formato provavelmente o mais ideal possível hoje com o wireshark.

  Nesse caso, a CPU carrega um pouco.

• Você viu o ntop ?

  Desde que eles estão indo fundo, não há mais suporte a mysql. De alguma forma, parte dos endereços IP são truncados de tempos em tempos. Não posso garantir que esta ferramenta registre tudo.

  Às vezes, é necessária uma grande parte da CPU.

• Veja splunk - é um produto comercial com período de demonstração.

  Existem tantos plugins lindos! Não deixe ninguém indiferente.

Todas essas três ferramentas podem fornecer log por ip: port.