O que você está procurando é chamado de Quality of Service (QoS) em Applications and Gaming.
Ele permite que você restrinja a largura de banda com base em critérios diferentes (endereço MAC, endereço IP, aplicativo, porta do roteador físico).
Se você estiver usando DHCP (os computadores obtêm endereços IP automaticamente?) e as pessoas se conectarem sem fio, eu recomendaria o uso de endereços MAC para filtrar as máquinas. Dê ao seu computador uma prioridade mais alta que as outras e seus problemas devem desaparecer.
Para encontrar os endereços MAC de suas máquinas (no Windows), execute o Prompt de Comando e digite "ipconfig / all"
Procure a conexão que mapeia para o seu roteador (o endereço IP provavelmente será 192.168.1.xxx) e anote o endereço MAC na tabela.
edit: Eu tenho um WRT54GL carregado com o DD-WRT. Um dos meus fatores motivadores na mudança para o DD-WRT foi a disponibilidade de configurações de QoS mais robustas.