O SF não é realmente para conselhos arquitetônicos, mas vou dar algumas ideias gerais:
- Usar um sistema de enfileiramento real (SQS) em vez de um banco de dados seria mais confiável. Se você continuar usando o RDS, provavelmente está ok, apenas bloqueie a tabela antes de recuperar o próximo trabalho na "fila".
- Configure o dimensionamento automático com base no tamanho da fila. Leia a documentação de como. Você também pode dimensionar com base no uso da CPU da instância.
- Redimensione seu aplicativo da web com um balanceador de carga elástico