Sim, se você usar um proxy. Faça com que um navegador vá para o proxy e esse proxy avance para uma das conexões. O outro navegador vai para o gateway padrão que o computador irá para qual seria a outra conexão. Existem provavelmente muitos programas de proxy gratuitos que você pode executar na bandeja do sistema para que você possa ativar e desativar.
Além disso, você pode configurar uma VM com um aplicativo de proxy para atuar como um proxy ou executar os outros navegadores na VM e fazer com que a VM siga a outra conexão.