Sim, você pode criar vários bancos de dados por instância, consulte as respectivas perguntas frequentes: O que é uma instância de banco de dados (Instância de banco de dados)
You can think of a DB Instance as a MySQL 5.1 environment in the cloud with the compute and storage resources you specify. You can create and delete DB Instances, define/refine infrastructure attributes of your DB Instance(s), and control access and security via the AWS Management Console, Amazon RDS APIs, and Command Line Tools. Multiple MySQL databases can be created on a given DB Instance.
Você pode criar bancos de dados usando comandos SQL normais, por exemplo:
CREATE DATABASE <database_name>;