Eu encontrei minha solução. Como os endereços IP 10.x.x.x são reservados para NAT e coisas semelhantes, isso significa que não pode ser atribuído a partir de "fora". Minha VPN tem o intervalo 10.8.x.x e, portanto, não há problema com a solução nginx como esta:
server {
# other config stuff for subdomain
location / {
proxy_pass https://10.8.0.6;
}
}