O suporte a iptables para -m cgroup ainda não foi lançado, mas você pode facilmente construir a extensão e instalá-la em seu sistema:
git clone git://git.netfilter.org/iptables.git
cd iptables
./autogen.sh
./configure
make -k
sudo cp extensions/libxt_cgroup.so /lib/xtables/
sudo chmod -x /lib/xtables/libxt_cgroup.so