Uma das coisas que encontramos em uma pequena instância do RDS foi a configuração do # de conexões. É uma fórmula baseada em RAM - e permite apenas 150 conexões em um pequeno banco de dados. Essa é a primeira coisa que eu olharia.
SHOW PROCESSLIST;
seria o comando. Se você não estiver usando algum tipo de pool de conexão no seu aplicativo, eu posso ver esse limite rapidamente.
Apenas um tiro no escuro, mas boa sorte de qualquer maneira!