Vale a pena verificar se os computadores estão falando com cada um. Pode haver muita conversa na rede que causa a deterioração do tráfego. Esse é um possível motivo pelo qual isso ocorre apenas quando mais de um dispositivo está conectado à rede. Isso também pode explicar sua observação de que eles não estão baixando nada em segundo plano.
Para ver se é esse o caso, baixe o utilitário gratuito de captura de pacotes Wireshark. Execute-o no seu adaptador de rede em ambas as máquinas e feche todos os seus programas. Claro, cada máquina é diferente, mas se você tiver apenas uma centena de pacotes por segundo em cada máquina, então isso não é ruim. Se enviar milhares de segundos, isso significaria que o seu equipamento de rede está sendo afetado.