Sim, é possível de várias formas:
Via console de gerenciamento
- Nos detalhes da instância do RDS, clique no botão "Ação da instância" e selecione Criar réplica de leitura
- O primeiro campo é o tipo EC2 usado para essa réplica de leitura, basta escolher o que você quiser
Por meio do modelo do CloudFormation
Basta criar um novo item do tipo AWS::RDS::DBInstance
e definir o parâmetro SourceDBInstanceIdentifier
para o mestre DBInstance. Você pode definir parâmetros como quiser.