O kernel do Linux tem a capacidade de fazer traffic shaping / QoS, que pode ser configurado usando o comando tc(8) (não iptables ). Os detalhes completos são demais para uma resposta aqui, mas como primeiro passo você pode querer olhar para o Linux Advanced Routing & Controle de Tráfego howto.
Há também vários aplicativos que se baseiam no comando tc para permitir que você defina regras de modelagem mais facilmente, como wondershaper , ou como parte de um sistema de firewall como shorewall .