O problema aqui acabou sendo o grupo de sub-redes RDS padrão (diferente da sub-rede VPC que você normalmente usa, muito provavelmente) adicionou automaticamente blocos IP privados e públicos.
Para o meu primeiro RDS, foi atribuído um bloco de IP acessível publicamente (ainda 10.x, mas o acesso do público) - minha segunda instância do RDS recebeu uma privada (então meus aplicativos no EC2 poderiam conectar, mas não consegui sair do VPC). Criamos uma nova sub-rede RDS contendo apenas blocos IP de acesso privado e usaremos o tunelamento ssh para administrar as instâncias conforme necessário, já que os bancos de dados de acesso público tendem a não ir tão bem.