Resumindo: Se o provedor disser que você pode acessar a rede pública, você pode!
Para permitir que você acesse a rede pública de dentro de uma rede privada, o provedor pode manter um dispositivo NAT . Com este dispositivo, a comunicação entre a rede pública e privada é possível, já que o iniciador da comunicação é um cliente na rede privada. (Isso não é estritamente verdade, mas para o bem desta resposta, é verdade).
As conexões para um servidor VPN ou um servidor proxy não são diferentes das conexões comuns. (Novamente, isso não é estritamente verdadeiro, mas para o bem desta questão, é verdade.)