Você pode usar a opção rsync with -a , considerando que você tem um usuário no servidor remoto igual ao proprietário dos arquivos nos arquivos binários do seu caso.
-a em rsync transfere arquivos da máquina para outra com todos os atributos.