I still don't understand how to organize secure & easy access to AWS (especially RDS) from users's laptops.
Bem, existem muitas maneiras de eliminar esse gato, uma das quais é o OpenVPN, como você sugeriu.
Uma opção muito mais simples é simplesmente usar o tunelamento SSH. Dê suas contas de shell devs em uma instância do EC2 que tenha acesso ao seu RDS. Então eles podem fazer algo assim em suas estações de trabalho:
$ ssh -L3600:<fqdn-of-rds-endpoint>:3600 user@your-ec2-host
Depois de fazer isso, eles podem se conectar ao localhost:3600
e o tráfego será encaminhado até a sua instância do RDS. Escusado será dizer que você precisa garantir que seus usuários tenham credenciais apropriadas. Do ponto de vista do RDS, o tráfego deles aparecerá para vir do seu host do EC2.