UDP doesn't have any congestion control, so there is no way to tell the source machine of incoming UDP packets to slow down sending them.
No nível do UDP, isso é verdade.
So my question is, is it possible to cut UDP connections just before they start to affect the quality of higher-priority connections?
Não. Apenas seu ISP pode fazer isso. Quando o pacote chegou ao seu roteador, ele já contribuiu para o congestionamento e o UDP não informa nada à fonte, é completamente unidirecional.
Assim como o OpenWRT, eles anunciam o limite de seus recursos de modelagem de tráfego: Controle de Tráfego OpenWRT
Ideally, downlink congestion should be managed using congestion control when possible, and for UDP connections and connections ignoring congestion control, fallback to rejecting incoming packets for problematic connections for a configurable time (I'd guess a few seconds).
Novamente, o UDP não informa à fonte que o pacote foi descartado. Ele apenas joga pacotes no seu link e não liga para o que fica.
Se você acabou de enviar pacotes e esperar pelo melhor:
Você pode ter sorte com os protocolos construídos sobre o UDP. Streaming de vídeo, dados SIP, etc geralmente usam UDP, mas são muito sensíveis à perda de pacotes, detectando-o e "esperando" por uma chance de otimizar seu próprio uso de largura de banda.
Você pode, também, ter azar e disparar retransmissões de pacotes, se o protocolo da aplicação detectar perda de pacotes, mas precisar que esses pacotes sejam transmitidos (bittorrent), ele pode lançar os pacotes várias vezes em seu link e congestioná-lo ainda mais.
Mas existem maneiras de controlar o que acontece com o seu link: Se você não conhece bem o seu ISP o suficiente para permitir que você coloque um roteador de modelagem de tráfego no seu final, você pode alugar um servidor no inet com um link de faturamento e fazer com que seu roteador / gateway implemente tráfego. Com o linux, existem toneladas de howtos para conseguir isso.