Uma resposta de alto nível ...
Você terá que configurar um túnel 6to4 do seu computador de casa para o seu VPS. Uma das máquinas do seu VPS terá que agir como o ponto final do túnel.
Seu computador doméstico precisará de um endereço IPv4 roteável público. Uma de suas máquinas VPS precisará de um endereço IPv4 roteável público.
Você então configurará um túnel, configurará as rotas entre os túneis, configurará os anúncios do roteador ou configurará manualmente os IPs locais. Muita rede manual.
Para mim, parece mais simples configurar um túnel permanente para um dos corretores de túneis. Desta forma, você só precisa configurar o seu lado do túnel, o que é muito bem documentado.