Você não pode por iptables sozinho. Você deve marcar pacotes na tabela mangle e, em seguida, aplicar a QoS com o programa tc .
Um script simples de tc para limitar eth0 a 10Mbit / s:
tc qdisc add dev eth0 root tbf rate 10240kbit latency 50ms burst 1540
Este artigo , embora direcionado a usuários do ArchLinux, tem uma boa explicação sobre como usar tc e iptables para marcar pacotes, e os comandos e conceitos explicados são bastante "distro agnósticos".