Além da opção wrappers ... Eu imagino que esse backup rsync esteja fazendo uso de uma chave ssh. Você pode restringir uma chave a um IP ou domínio de origem específico. Isso seria equivalente a uma restrição de usuário para IP, já que somente esse usuário está usando essa chave (se você é inteligente, o que aparece).
Primeira linha do arquivo authorized_keys:
de="trusted.domain.com", sem encaminhamento de porta, no-pty ssh-rsa AAAABasdf