Estou respondendo a minha própria pergunta porque substituí o switch e tudo voltou ao normal. Então a resposta é, sim, um switch quebrado pode desacelerar a conexão de rede simplesmente porque corrompe os dados.
Nota de bônus: meu mouse sem fio, que estava agindo de forma estranha, agora funciona perfeitamente, então parece que o interruptor quebrado também estava gerando ruído eletromagnético.