O OpenVPN oferece algumas notas de instalação com considerações especiais para instalação em Janelas. O fato de estar no EC2 é (principalmente) irrelevante (exceto para considerações de rede / IP). Observe também que executá-lo no Windows não é uma solução alternativa para você conhecer a linha de comando ou entender os princípios básicos de VPN e de rede. Configurar uma VPN definitivamente não é para iniciantes. Sua melhor aposta é o Virtual Appliance do servidor de acesso do OpenVPN.
Um pouco de googling me levou a este tutorial , que parece 100% orientado para o Windows.