O problema é mais provável, como você suspeita - torrents. Não está relacionado à quantidade de largura de banda, mas sim ao número de solicitações simultâneas. Acredito que você provavelmente descobrirá que o rastreamento de conexão de baixa qualidade no roteador do ISP está com defeito - ou seja, não consegue acompanhar o número de conexões simultâneas para poder rotea-las corretamente devido ao NAT.
Você pode tentar reduzir o número de conexões simultâneas de torrent e / ou obter um roteador diferente que possa rastrear mais conexões simultâneas.