Encontrei aqui como configurar o cliente Windows para o OpenVPN: link
Nos arquivos do programa, há uma pasta openvpn, que contém amostras de configuração do servidor e do cliente. Eles usam a extensão .ovpn em vez da extensão .conf. Você precisa substituir algumas coisas, como
ca "C:\Program Files\OpenVPN\config\ca.crt"
cert "C:\Program Files\OpenVPN\config\mike-laptop.crt"
key "C:\Program Files\OpenVPN\config\mike-laptop.key"
remote example.ddns.net 443
caso contrário, é o mesmo que configurar arquivos .conf.