Você pode adicionar ações agendadas em grupos AutoScale.
Isso permitirá que você crie e destrua instâncias do EC2 no cronograma. Apenas certifique-se de configurar suas AMIs para se juntar ao cluster correto do ECS e deixar algum tempo de sobreposição para a instância inicializar e ingressar no cluster antes do início da tarefa do ECS agendada.
Espero que isso ajude.