O que você quer não é HTB / TBF, mas HFSC.
Você pode anexar netem às classes de folhas.
Aqui está um exemplo de script para você começar ..
#!/bin/bash
tc qdisc add dev veth1 parent root handle 1: hfsc default 11
tc class add dev veth1 parent 1: classid 1:1 hfsc sc rate 100mbit ul rate 100mbit
tc class add dev veth1 parent 1:1 classid 1:11 hfsc sc rate 50mbit
tc class add dev veth1 parent 1:1 classid 1:12 hfsc sc umax 1500 dmax 50ms rate 10mbit ul rate 10mbit
tc qdisc add dev veth1 parent 1:12 handle 12 netem delay 150ms
tc filter add dev veth1 parent 1: protocol ip u32 match ip sport 22 0xffff flowid 1:12
Isto cria uma classe de 100mbit, 50mbit que está na classe padrão (mas pode aumentar até 100mbit) enquanto a outra classe permite um requisito em tempo real para que pacotes de 1500 bytes saiam da fila dentro de 50ms, a taxa máxima deste classe é 10mbit em todos os momentos.
Finalmente adicionamos um qdisc de folha a essa classe, o que na verdade atrasa os pacotes deixando a fila por 150ms.
O tráfego na classe em tempo real é selecionado com base em um atributo de porta 22 de origem (portanto, todo o tráfego ssh).