My understanding is that while connected, all my internet traffic is routed through the office's internet connection
Depende ...
route print 0*
diz mais
Can I split the traffic such that only specific browser windows or specific websites will be tunneled to the office
Sim, você pode, parcialmente. Não são "janelas de navegador específicas" ou websites, mas IP específicos / sub-redes . Alterar a tabela de rotas locais com route add
e rotear change