É muito difícil manter as chaves sendo lidas. O controle de acesso obrigatório em seus daemons usando o AppArmor ou o SELinux aumentará a capacidade de limitar o acesso de leitura.
O uso de softwares como Vault aumenta um pouco. Como o sistema de credenciais temporário fornecido pelo STS da Amazon, isso pode ser aplicado a qualquer backend que você escreve um módulo para alguns, criando assim credenciais temporárias e facilmente revogáveis. Se for escrito diretamente no seu aplicativo, isso manterá as senhas fora dos arquivos de configuração.
Você pode usar um back-end de autenticação, como o ID do aplicativo ou se tiver hardware , fique super chique e escreva um baseado em TPM.