Natim está correto em que {} precisa ser usado para passar os nomes de arquivos para o rsync. Não há necessidade de mudar para scp. Basta usar o {} com rsync como em:
find /path/backups/ -type f -mtime +2 -exec rsync -vPhd -e "ssh -p 512" {} --delete --ignore-existing me@host:/remote/path/server-backups/ \;
Nota: eu também mudei
-mtime 2
para
-mtime +2
ao indicar arquivos com mais de dois dias. Você pode precisar ajustar isso para suas necessidades exatas.