Sua pergunta não está clara. Você quer que os servidores não tenham acesso à internet, ou somente quando a VPN está conectada? Eu vou assumir o tempo todo.
A maneira típica de fazer isso é usar sub-redes. Sua sub-rede pública tem um único servidor que encerra a conexão VPN, passando os pacotes para onde eles precisam ir. Há um gateway de internet nessa sub-rede. Todos os outros serviços estão em sua sub-rede privada e não têm rota para o gateway da Internet. Esta é uma configuração muito padrão, tão padrão que o assistente do VPC pode configurá-lo para você.
Você poderia potencialmente transformar um servidor em bastião baseado em VPN e em NAT de saída, se necessário.