A diretiva http-proxy é usada quando entre o seu cliente VPN e seu servidor VPN existe um proxy (http ou https) que não é o seu caso (e para responder ao comentário funciona tanto no TCP quanto no SSL, com a captura que a conexão OpenVPN tem que ser do protocolo tcp).
No seu desenho, o seu Proxy é após a conexão VPN.
Neste caso, diria que você precisaria: 1) Configure uma conexão VPN normal entre cliente e servidor 2) Empurre uma rota no cliente para que o cliente possa ver o proxy na sua imagem. Isso pode ser uma rota de host (para o IP específico) ou uma rota padrão. Você pode precisar fazer um mascaramento para os IPs do cliente, bem como se o proxy não tiver a rede VPN em sua tabela de roteamento acessível. E, claro, o servidor precisa ter o encaminhamento de IP ativado. 3) Agora: 3a) No cliente você pode configurar a configuração de proxy dos aplicativos que você está usando (ou seja, o navegador) para apontar para o IP do proxy / porta para onde passar 3b) Você pode fazer no servidor VPN algum proxy transparente e redirecionar todo o tráfego para a máquina proxy (por exemplo, como em este artigo )
Desta forma, na verdade, o software VPN não sabe nada sobre o proxy. Ele apenas fará o tráfego entre os dois primeiros blocos do seu desenho. Em seguida, o servidor VPN encaminhará os pacotes para o proxy de uma das duas maneiras.