O Amazon RDS não é elástico dessa forma - é um dos serviços menos elásticos da Amazon. Você pode obter um tamanho de instância maior enquanto está em execução, mas isso pode levar algum tempo (minutos a horas). Se você planeja fazer isso, é melhor ter uma configuração multi-AZ, pois a nova instância é criada a partir do banco de dados de backup e não do mestre. Com o único mestre AZ pode fazer uma pausa por um minuto. O Azure é praticamente o mesmo.
Infelizmente, não acredito que a solução desejada exista na AWS. Você terá que ampliar seu banco de dados manualmente antes desses picos ou você pode escalar usando réplicas de leitura. As réplicas de leitura normalmente exigem alterações no aplicativo.
Você pode escolher reprojetar de uma maneira que leve isso em conta, usando NoSQL, Redis / Memcached ou alguma outra tecnologia criada para escalar.