Os pacotes SCP / SSH normalmente têm um TOS em massa. Então eu acho que você deve levantar os TOS dos pacotes TCP da porta 80 usando o alvo TOS do iptables. Então o padrão tc-pfifo-fast priomap fará a coisa certa.
Jogue o seguinte:
iptables -t mangle -A PREROUTING -p tcp --sport 80 -j TOS --set-tos Maximize-Throughput
iptables -t mangle -A PREROUTING -p tcp --dport 80 -j TOS --set-tos Maximize-Throughput
Ou, na verdade, pode ser que você deva tentar ajustar o QOS em seu roteador e não em seu servidor: altere o QOS onde o afunilamento está.