Você pode configurar uma configuração VPN de 'site para site' e permitir que o (s) roteador (es) da VPN façam o roteamento para você. Mas a partir do que você escreveu, parece que você está usando um cliente VPN. Independentemente disso, você precisará de algum tipo de serviço de nome de host dinâmico, como o DynDNS, para criar um nome de host que aponte para seu endereço IP residencial.
O desenho rápido abaixo permitiria que você estabelecesse um túnel VPN usando o serviço dinâmico para manter o registro da concessão da interface WAN dos ISPs. 