O que você quer fazer é o comportamento padrão de redes e VPNs.
Muitas VPNs corporativas não permitem tráfego local quando conectadas à VPN. Portanto, seu primeiro passo seria garantir que sua VPN permita isso. Um teste rápido para isso seria conectar-se à sua VPN e, em seguida, tentar fazer o ping no endereço interno do seu gateway padrão (por exemplo, 192.168.1.1). Se você não puder, a VPN não está permitindo isso. Verifique a configuração no software VPN que você está usando.
Também no Windows, você pode abrir um prompt de comando e digitar "route print". A entrada 0.0.0.0 0.0.0.0 com a menor métrica é a que está em uso.