Supondo que você não tenha acesso a um roteador ou switch upstream que forneça a mesma visualização desses dados que o seu ISP vê, você pode usar a conta iptables em cada host para contar bytes / pacotes destinados a qualquer coisa que não seja seu outro endereço IP (ou intervalo de IP) e, em seguida, poke isso em um RRD-se.
EDITAR
Como exemplo, você pode usar algumas regras como essas no iptables para criar a contabilidade:
iptables -N ACCOUNT_IN
iptables -N ACCOUNT_OUT
iptables -I INPUT -j ACCOUNT_IN
iptables -I OUTPUT -j ACCOUNT_OUT
iptables -I ACCOUNT_IN -s ! 10.66.1.0/24
iptables -I ACCOUNT_OUT -d ! 10.66.1.0/24
Isso cria duas novas cadeias, ACCOUNT_IN e ACCOUNT_OUT. Eu então insiro saltos para estes no topo das cadeias INPUT e OUTPUT. Dentro de cada cadeia, eu adiciono uma regra sem alvo de salto para combinar em endereços remotos - para entrada, qualquer coisa que não tenha um endereço no meu local / 24 como fonte; para saída, qualquer coisa que não tenha um endereço no meu local / 24 como destino. Em seguida, os pacotes retornam dessa cadeia de volta às suas cadeias normais de ENTRADA / SAÍDA, pois não há uma regra de salto.
Para verificar os dados contábeis:
# iptables -L ACCOUNT_IN -n -v
Chain ACCOUNT_IN (1 references)
pkts bytes target prot opt in out source destination
5 2138 all -- * * !10.66.1.0/24 0.0.0.0/0
# iptables -L ACCOUNT_OUT -n -v
Chain ACCOUNT_OUT (1 references)
pkts bytes target prot opt in out source destination
15 2846 all -- * * 0.0.0.0/0 !10.66.1.0/24
De lá, você pode extrair as contagens de pkt / byte e passar para rrdupdate (suponho que você esteja OK ao passar dados para um rrd, já que você disse que está tudo bem em extrair dados de um rrd. Se não, essa pergunta provavelmente já foi feita aqui).
Se você quiser zerar os contadores toda vez que os ler, passe o comando -Z (contador zero) para zerar os contadores de bytes.
Se algum de seus hosts for roteador, você também precisará fazer contabilidade na cadeia FORWARD. Provavelmente, basta inserir um salto para ACCOUNT_IN e ACCOUNT_OUT da parte superior da cadeia FORWARD e ele fará o coisa certa, mas eu não tenho pensado nisso o suficiente para ter 100% de certeza que vai funcionar