Você pode tentar algo como NetBalancer . Permite definir prioridades para o tráfego de rede de diferentes processos. Eu não usei isso sozinho, mas parece que faria o que você quer.
Para um sistema Linux, tente usar o Wondershaper. Espero que você esteja usando uma distro baseada no Debian, pois não tenho certeza se o Wondershaper está no repositório yum. Instale o Wondershaper com o comando
sudo apt-get install wondershaper
Em seguida, adicione essas linhas a /etc/network/interfaces
up /sbin/wondershaper <interface name> <downspeed> <upspeed>
down /sbin/wondershaper clear <interface name>
O Wondershaper já está configurado com scripts que fazem com que ele priorize o tráfego, como HTTP, SSH e VOIP, enquanto atribui uma prioridade menor ao tráfego do bitTorrent.
Eu não estou em casa para testar isso no meu sistema Linux agora, então eu não estou absolutamente certo de que isso é tudo correto, mas aqui é onde eu consegui isso se você precisar de esclarecimentos.