Não sei se entendi o que você está tentando fazer. Mas com base na minha compreensão do problema, acho que você tem duas opções:
1- Usando VPN (semelhante ao seu Site-to-Site): o pré-requisito é que o seu roteador nos seja suportado pela AWS para criar uma VPN.
- Crie um VPC (Virtual Private Cloud), que é uma espécie de seu próprio ambiente virtual que você poderia criar no ESX, por exemplo, mas este é na nuvem. Você pode ter várias VPCs na AWS.
- Depois de criar seu VPC, você precisa criar sua VPN do roteador para o gateway virtual em seu VPC.
2- Crie uma instância de VPN (OpenVPN) no seu VPC e instale o cliente VPN em seu laptop para poder conectar-se às suas instâncias no VPC.
Não tenho certeza se isso é para suporte / administração, caso contrário, a segunda solução não será de ajuda.