Apenas descobri como fazer isso:
Basta adicionar 0.0.0.0/0 à "lista branca" do grupo de segurança
É possível permitir que qualquer IP se conecte a uma instância do Amazon RDS usando o MySQL?
Explicando meu cenário conforme solicitado nos comentários:
O Amazon RDS bloqueia, por padrão, todas as conexões de entrada que o IP de entrada não está listado na "lista branca" do grupo de segurança da AWS. Mas eu uso conexão 3G na minha estação de trabalho, então meu endereço IP está sempre mudando. Não quero atualizar a "lista branca" do grupo de segurança sempre que me conectar ao meu 3G com o novo IP para poder me conectar à minha instância do RDS.