Embora eu não tenha feito isso sozinho, o Microsoft Azure Virtual Network Gateway e o AWS Virtual Private Gateway existem especificamente para esses casos.
Verifique este recurso , eu li seus passos e parece promissor e os comentários são muito positivos.