O gerenciamento de segredos é um problema extremamente difícil. Você não quer nunca senhas em texto puro no código.
Existem algumas ferramentas para lidar com segredos, incluindo Ansible Vault, Hashicorp Vault e Keywhiz. Eu pessoalmente armazeno segredos no S3 usando o KMS para criptografia.
É um problema difícil com várias ferramentas surgindo para tentar resolvê-lo. Eu não presumo saber a melhor solução para você, mas aconselho a olhar para as várias ferramentas de gerenciamento de segredos e selecionar uma que atenda às suas necessidades.