Sim.
Como o switch é burro, presumo que você esteja usando o DHCP de um dos roteadores fornecidos pelos seus ISPs. Se você for conectar os dois, você vai querer desligar o DHCP do outro.
Você simplesmente precisa alterar o gateway atribuído pelo roteador para ser o correto que está funcionando naquele momento. Então, todos precisariam fazer uma atualização de DHCP reiniciando sua própria máquina ou usando o prompt de comando e fazendo ipconfig /renew
.
Existem maneiras mais complicadas de conseguir isso, no entanto, eles exigem que você use equipamentos para fazer isso da maneira correta.