My understanding is that if you try to access any IP address that is outside your own subnet it then tries to get routed through a default gateway.
Essencialmente correto. Você usa o gateway padrão se não tiver uma rota mais específica para o destino. O gateway padrão é o "pegar tudo" e deve apontar para o roteador que fornece acesso à Internet.
I figured with a VPN you simply would have two defaults gateways and your computer would just try both.
Isso funcionaria muito, muito mal.
Uma VPN só será sua rota padrão se ela for destinada a fornecer seu acesso à Internet. Se for destinado apenas a fornecer acesso a sub-redes específicas no outro lado da VPN, rotas específicas serão usadas apenas para essas sub-redes, através da VPN.