Na seção EC2, há um recurso de Auto-escala que fará exatamente o que você está procurando. Você criará uma Configuração de Lançamento que detalha qual AMI usar, que tipo de instância, armazenamento, tags, scripts de inicialização, etc. Então, você anexará isso a uma política de Escala Automática que determina quantas instâncias devem ser executadas em um mínimo, quando escalar, quando diminuir, etc.
Você pode conseguir isso com o Elastic Beanstalk também. A diferença é que o Elastic Beanstalk configura tudo para você (servidores, vpc, sub-redes, grupos de segurança, balanceador de carga, dimensionamento automático, etc.) e você apenas fornece seu código de projeto. É rápido e simples, mas fazê-lo manualmente fará com que você receba as mãos de que precisa.