Crie uma AMI no site da Web configurado (instância do EC2). Use essa AMI na sua configuração de ativação. Esse é o método mais simples para iniciar novas instâncias (ou substituídas) com um Grupo de Auto Scaling.
Você também pode configurar seus servidores na inicialização, mas será preciso levar em conta quanto tempo levaria para instalar o software, configurar tudo e esperar que o software seja exibido ao vivo. Para sites simples, isso pode ser muito rápido, mas para sites complicados com bancos de dados, etc., isso pode ser muito longo.
Quando o ASG determina que outra instância é necessária, você deseja que a instância fique on-line o mais rápido possível. Uma AMI pré-configurada é uma boa (ou melhor) solução.
[EDITAR após o comentário de Tim]
As AMI pré-configuradas basicamente exigem que as instâncias do EC2 que são dimensionadas automaticamente sejam "sem estado" ou façam o download de seu estado na inicialização (pense em scripts de dados do User EC2). Bancos de dados geralmente são stateful, então devem ser movidos para fora do ASG. O RDS é um bom serviço gerenciado para bancos de dados. O design final precisa considerar todos os componentes e serviços que seus sistemas fornecem.