Existem várias maneiras de configurar isso, inclusive usando um método de autenticação diferente do que as senhas para começar.
Um método pode estar usando certificados TLS / SSL para conexão. Mas normalmente, manter a senha em um arquivo somente leitura bastaria - como diz o Kondybas, se a conta root for comprometida, tudo estará comprometido ... Você também pode querer que o startcript faça um chmod 400 antes de iniciar o serviço. e chmod 000, uma vez iniciado.
Então, em vez de se concentrar apenas em manter a senha real segura, você gostaria de fazer algum trabalho no servidor de destino. Para um banco de dados, eu começaria limitando quais hosts podem se conectar com o nome de usuário usado pelo servidor Linux. Eu também limitaria o que o usuário tem permissão para fazer com o banco de dados - por exemplo, você pode querer que o daemon do Linux seja capaz de adicionar conteúdo ao banco de dados, mas talvez não faça DROP TABLE .
Você também deve geralmente tornar o servidor o mais seguro possível. O daemon não deve ser executado pelo root, a menos que seja absolutamente necessário; a porta SSH não deve permitir o acesso de qualquer host na Internet e, certamente, não com login de root permitido.
Certifique-se também de que a senha não seja reutilizada em nenhum outro lugar, caso contrário, um comprometimento nesse servidor poderá levar a uma escalada da violação em sua rede.
Você também pode encontrar uma pesquisa na segurança útil.