Possivelmente, mas se você estivesse sendo estrangulado pelo seu ISP, esperaria que o link inteiro fosse limitado, e não sessões individuais. No entanto, não deve doer perguntar-lhes se você está sendo estrangulado e por quê.
Antes disso, eu verificaria se há algo em sua conexão usando sua largura de banda. Alguns roteadores fornecem estatísticas de utilização por IP do cliente. Eu verificaria isso e veria se você tem um dispositivo em particular (computador, tablet, smartphone, HDTV habilitado para internet, etc.) maximizando sua conexão.
Se você tiver apenas um único computador conectado à sua rede, verifique quais processos podem estar usando mais tráfego. Alguns sistemas operativos suportam-no fora da caixa, caso contrário, pode utilizar o comando netstat ou procurar outros utilitários de terceiros que possam verificar. Esta discussão anterior pode ajudar.
Outra coisa que você pode verificar é se o QoS está habilitado em seu roteador e se está configurado corretamente.