Para manter esses tipos de alterações, você desejará usar sua própria AMI que tenha essas alterações já feitas, de modo que, quando o Beanstalk iniciar ou reativar as instâncias, seus dados estejam presentes.
Como alternativa, você pode usar os arquivos .config para automatizar o processo como visto aqui: link