Uma pesquisa rápida me deu MasterShaper , mas quando eu trabalhava em um ISP sem fio eu usei htb.init para moldar meu tráfego. Eu sei que o DD-WRT (firmware personalizado para roteadores sem fio broadcom) tem uma interface QOS muito boa (eu uso para evitar que os torrents diminuam todo o resto).
Dê uma olhada nos dois projetos, eu sei que o htb.init config é feito via arquivos de texto e não complexo, mas o MasterShaper é um projeto mais novo e pode ser ainda mais fácil com interface web, gráficos e uma opção para usar .