A solução mais fácil está no link abaixo:
Eu tentei e consegui.
A solução é essencialmente:
Crie um novo grupo de parâmetros no RDS. O que eu mudei foi character_set_* e collation_* . Existem cerca de 8 configurações, alterei todas elas para utf8 e utf8_unicode_ci . Em seguida, atribua sua instância de banco de dados para usar esse novo grupo de parâmetros.