Normalmente, os roteadores têm uma página chamada QoS (Quality of Service), que permite fazer exatamente o que você está pedindo. A página de configuração varia de roteador para roteador. No meu roteador Cisco, ele é: 
. Você pode escolher um aplicativo ou definir um novo e, em seguida, atribuir a ele uma prioridade variável. Como não conheço a marca e o modelo do seu, não posso ser mais específico, mas a maioria dos roteadores atualmente vem com essas especificações.