É um roteador ou um switch? Não que isso realmente importe, mas suponho que você esteja em algum tipo de campus e, mesmo se estiver usando um roteador, só estará realmente usando-o como um switch.
A resposta para sua pergunta é "depende". Por exemplo, se você tem uma conexão de internet gigabit, mas seu switch suporta apenas 100mb / s, então sim, você fará o download de coisas a uma taxa mais lenta do que a máxima possível.
A velocidade também pode ser afetada por outros dispositivos conectados ao switch que também baixam dados pela conexão com a Internet.
Além disso, seu dispositivo pode ser (mas, em 2017, é extremamente improvável que seja) um hub em vez de um switch. Nesse caso, outros dispositivos conversando entre si pelo hub podem limitar a velocidade de seus downloads em outro dispositivo.
Portanto, se nada mais estiver usando sua conexão com a Internet ao mesmo tempo, e o comutador suportar conexões pelo menos tão rápidas quanto sua conexão com a Internet, não, as conexões com o comutador não afetarão suas velocidades de download.
No entanto, ter um dispositivo extra em linha pode aumentar a latência de sua conexão, mas apenas de forma insignificante.