Para dizer claramente, o seu roteador é uma droga.
Seu roteador deve enfileirar solicitações entre hosts (conexões) e atender a todos aproximadamente igualmente. A menos que você tenha configurado a prioridade de QoS para esse PC, ele não deve ter 100% de largura de banda exclusiva.
Taxa de limitação do Git com algo parecido com o trickle no Linux poderia resolvê-lo, mas realmente eu estaria procurando por um novo roteador.