Você pode instalar uma instância do ec2 Windows Server dentro da sua rede VPC, configurar o PPTP VPN (ou qualquer outro, mas o PPTP seria melhor se você estiver usando o Windows).
Se você tiver todas essas instâncias em uma sub-rede, poderá estabelecer uma conexão VPN do cliente externo para seu servidor VPN e, depois disso, poderá estabelecer conexões RDP com outras instâncias do Windows que desejar.
Como configurar o PPTP: link