Dependendo do appliance, você poderá aplicar regras de QoS por endereço IP ou switchport.
Configurar o DHCP com reservas para cada máquina e, em seguida, segmentar máquinas específicas com uma regra de QoS em seu endereço IP pode ser o caminho mais fácil.
No que diz respeito aos appliances, o Zeroshell parece promissor e distribui sua distribuição (baseada em Linux com frontend da Web e ssh) em diferentes formas, incluindo LiveCDs e dispositivos VMWare.
Divulgação completa: não sou afiliado ao ZeroShell, mas estou pensando em implementá-lo na casa que atualmente estou vivendo como roteador / gateway padrão / servidor DHCP / Regras de QoS / Roteamento de VLAN. Coisas divertidas!