Você ainda pode usar o rsync do "destino".
Aqui está o comando para executar no servidor de destino.
rsync -avz <username>@source.com:/path/to/backup /local/path/to/copy/backup/to
Substitua o e do servidor de origem do qual você deseja copiar dados.
Você não precisa do rsync "server" em execução no host remoto. Isso acontece de maneira transparente para o usuário final, desde que o seu ssh para o servidor de origem funcione.
Basta executar o comando como está e o rsync funcionará com o ssh a partir dos dados de cópia de destino da origem.