Você pode filtrar com iptables com base no classid. Há um exemplo no link módulo net_cls que você forneceu.
echo 0x100001 > /sys/fs/cgroup/net_cls/0/net_cls.classid
iptables -A OUTPUT -m cgroup ! --cgroup 0x100001 -j DROP
Você pode, claro, mudar o exemplo, fazer o iptables pular para outra cadeia com regras mais complexas. Talvez:
echo 0x100001 > /sys/fs/cgroup/net_cls/0/net_cls.classid
iptables -N QUOTA
iptables -A QUOTA -m quota --quota 52428800 -j ACCEPT
iptables -A QUOTA -j DROP
iptables -A OUTPUT -m cgroup --cgroup 0x100001 -j QUOTA