Estou assumindo que quando você diz modem, você está se referindo a uma combinação de modem + roteador. Vamos chamar o roteador com a conexão mais rápida A e a mais lenta B.
Para começar, você desejará conectar dois roteadores juntos via Ethernet, conectando-se às portas LAN de cada um. Você precisará desativar o DHCP em um dos roteadores. Você provavelmente desejará deixá-lo ativado em A, para que possa ser usado como o gateway padrão. O endereço IP interno de B deve estar na mesma sub-rede da rede de A e deve ser definido estaticamente.
Se a VPN estiver sendo executada na própria B e realizar NAT de origem ao falar com a rede interna, os clientes VPN já deverão conseguir acessar sua rede adequadamente.
No entanto, o encaminhamento de porta é um pouco mais complicado, pois há um problema de roteamento. Mesmo quando os pacotes são encaminhados para um host interno de B, o host interno possui um gateway padrão de A e as respostas serão enviadas por meio de A, em vez de voltarem por B, interrompendo a conexão. Isso pode ser resolvido com a fonte NAT, que substituiria o endereço de origem das conexões encaminhadas pelas de B. B acompanha cada conexão, para que as respostas voltem de onde vieram. Você provavelmente precisará de iptables ou outro firewall totalmente configurável para fazer isso.
Vou limpar essa resposta quando eu voltar a um computador.