Você deve checar IPT-NETFLOW , parece exatamente o que você precisa implementar como um módulo de kernel para o IPTABLES. Ele é mantido ativamente e usado com êxito em algum ISP , portanto, deve ser bom o suficiente. A documentação poderia ser melhor (veja o arquivo README).