Pelo que entendi, o principal problema é que você configurou o processo rsync para ser iniciado a partir do "lado errado". Seu servidor de backup deve ser aquele que está iniciando a conexão e tendo uma conta no seu servidor de produção, e não vice-versa.
Dessa forma, você não precisaria de uma conta no servidor de backup acessível a partir de (e em quais credenciais ou tokens de acesso são armazenados) o servidor de produção mais exposto.
Naturalmente, isso levanta a questão do possível impacto de uma interrupção no servidor de backup, mas você pode limitar a capacidade do usuário de quebrar coisas - usando um daemon rsync no servidor de produção com um compartilhamento somente leitura. para as coisas para fazer backup seria uma opção fácil de fazê-lo.